Piloté par l’IRT SystemX, le projet Confiance.AI s’est achevé en septembre 2024 et aura duré quatre années. Centré sur la question de la confiance dans les systèmes à base
d’Intelligence Artificielle, il a permis des collaborations fructueuses notamment entre l’IRT Saint Exupéry et l’IRT System X. Les travaux ont porté sur deux conditions essentielles à l’utilisation de l’IA dans les systèmes embarqués : avoir confiance dans ces systèmes et parvenir à les déployer sur des calculateurs embarqués.

Sur le volet des travaux relevant de la vérification et de la validation, le projet a utilisé la méthode des Assurance Cases pour mettre à disposition des ingénieurs les concepts
et outils permettant de formaliser l’argumentaire justifiant la satisfaction des propriétés attendues du système.

Déjà adoptée dans plusieurs domaines industriels, cette méthode repose sur la décomposition systématique des propriétés de façon à les rendre plus facilement
démontrables. Elle est particulièrement pertinente dans le domaine de l’IA puisque, dans ce cas, la confiance ne peut seulement reposer sur des pratiques validées par l’usage et
agréées. La démonstration de certaines des propriétés de plus bas niveau repose sur des méthodes de l’état de l’art dont certaines ont été développées à l’IRT Saint Exupéry
(explicabilité, robustesse). Les équipes de recherche ont implémenté la méthode dans l’outil d’ingénierie guidé par les modèles CAPELLA ce qui a permis de coupler étroitement et formellement les phases de conception, de vérification et de validation.

Explorer un grand nombre de configurations rapidement et de façon reproductible est donc crucial, aussi a été développé un banc d’évaluation automatisant le déploiement et la caractérisation des algorithmes d’IA. Ce banc intègre des chaines d’implémentation d’algorithmes d’IA préinstallées et préconfigurées, un ensemble de cibles matérielles et une interface de programmation pour configurer et exécuter les expériences et collecter des résultats. Les équipes de Confiance.IA ont aussi intégré la capacité de prédire les
performances de cibles matérielles absentes du banc ou non disponibles.