Le glossaire de la gouvernance de L'IA
Les termes essentiels pour piloter, auditer et encadrer les systèmes d’intelligence artificielle.
1. Les principes fondamentaux de la gouvernance de l'IA
Avant d’aborder les risques, les audits ou les exigences réglementaires, il est essentiel de maîtriser les principes qui structurent la gouvernance de l’IA.
La gouvernance de l’IA désigne l’ensemble des cadres, pratiques, processus et responsabilités mis en place à l’échelle d’une organisation pour encadrer la conception, le déploiement, l’utilisation et la supervision des systèmes d’IA.
Elle vise à garantir un développement responsable et éthique, à maîtriser les risques associés et à assurer la conformité avec les exigences légales, réglementaires et internes applicables.
Obligation pour les développeurs, déployeurs et distributeurs d’un système d’IA de s’assurer que celui-ci fonctionne de manière éthique, équitable, transparente et conforme aux règles applicables.
La responsabilité implique que les actions, décisions et résultats d’un système d’IA puissent être documentés, expliqués et, lorsque cela est nécessaire, retracés jusqu’aux acteurs ou entités concernés.
Dans le domaine de la protection des données, elle suppose également la mise en place de mesures techniques et organisationnelles appropriées permettant de démontrer la conformité avec les réglementations en vigueur, notamment le RGPD.
Transparence
Principe selon lequel le fonctionnement, les finalités, les limites et les conditions d’utilisation d’un système d’IA doivent être compréhensibles et accessibles aux parties prenantes concernées.
La transparence peut porter sur les informations disponibles à propos du système, sa documentation technique et non technique, les données utilisées, les critères influençant ses résultats, ou encore l’accessibilité du code source dans un contexte open source.
Dans le cadre de la protection des données, elle implique de fournir aux personnes concernées des informations claires, concises, intelligibles et facilement accessibles sur le traitement de leurs données.
Principe selon lequel un système d’IA doit produire des résultats justes, cohérents et non discriminatoires pour les individus ou groupes concernés.
L’équité implique d’identifier, de mesurer et de limiter les biais susceptibles d’entraîner un traitement défavorable fondé sur des caractéristiques sensibles ou protégées, telles que l’origine, le genre, l’âge, la religion, l’état de santé ou toute autre situation pouvant conduire à une discrimination.
Dans le cadre de la protection des données, cette notion se rapproche du principe de loyauté du RGPD, qui exige que les traitements soient réalisés de manière honnête, prévisible et compréhensible pour les personnes concernées.
Capacité d’un système d’IA à fournir des explications compréhensibles sur les résultats, décisions ou recommandations qu’il produit.
L’explicabilité vise à permettre aux utilisateurs, aux équipes métiers, aux auditeurs ou aux autorités de comprendre les principaux facteurs ayant influencé le résultat d’un système d’IA, sans nécessairement exposer toute sa complexité technique.
Elle est particulièrement importante lorsque les décisions produites par l’IA peuvent avoir un impact sur les droits, les opportunités, la sécurité ou le bien-être des personnes.
Capacité à comprendre le fonctionnement interne d’un modèle d’IA et les principaux facteurs qui influencent ses résultats.
Contrairement à l’explicabilité, qui vise souvent à fournir une explication après une décision, l’interprétabilité repose sur des modèles ou des méthodes dont la structure facilite directement la compréhension par l’humain.
Elle est particulièrement importante dans les contextes sensibles, lorsque les résultats d’un système d’IA doivent pouvoir être analysés, vérifiés ou justifiés par des experts.
Approche de développement, de déploiement et de gouvernance de l’IA visant à garantir que les systèmes d’IA soient sûrs, robustes, transparents, explicables, responsables, respectueux de la vie privée et non discriminatoires.
L’IA digne de confiance repose sur une combinaison de principes techniques, éthiques, organisationnels et juridiques permettant de limiter les risques, de protéger les personnes concernées et de favoriser une utilisation responsable de l’IA.
Cette notion est proche de celles d’IA responsable et d’IA éthique, mais elle insiste particulièrement sur la fiabilité, la sécurité, la conformité et la confiance que les parties prenantes peuvent accorder au système.
Approche de conception, de développement et de déploiement de l’IA qui place le bien-être humain, l’autonomie, les droits, les valeurs et les besoins des individus au cœur du système.
L’objectif est de développer des systèmes d’IA qui soutiennent, amplifient ou augmentent les capacités humaines, plutôt que de remplacer entièrement le jugement, la responsabilité ou l’intervention humaine.
Cette approche implique une attention particulière à la sécurité, à l’accessibilité, à la supervision humaine, à la protection des droits fondamentaux et aux impacts sociaux des systèmes d’IA.
Autonomie
Capacité d’un système d’IA à fonctionner, prendre des décisions ou exécuter certaines actions avec un degré limité d’intervention humaine directe.
L’autonomie peut varier selon les systèmes : certains assistent simplement l’humain dans une tâche, tandis que d’autres peuvent agir de manière plus indépendante dans un cadre prédéfini.
Dans une perspective de gouvernance, l’autonomie doit être encadrée par des mécanismes de supervision, de contrôle, de traçabilité et, lorsque nécessaire, d’intervention humaine.
2. Les principaux risques techniques à connaître
La gouvernance de l’IA suppose d’identifier les risques dès la conception du système, puis de les suivre tout au long de son cycle de vie.
Erreur systématique pouvant conduire un système d’IA à produire des résultats injustes, inexacts ou discriminatoires.
Un biais peut provenir des données d’entraînement, des hypothèses du modèle, des choix de conception, ou encore de biais cognitifs et sociétaux présents dans les données utilisées.
Ces biais peuvent affecter les droits des personnes concernées, renforcer des inégalités existantes et constituer un risque éthique, opérationnel et réglementaire majeur, notamment dans le cadre du Règlement européen sur l’IA.
Les hallucinations désignent les situations dans lesquelles un modèle d’IA générative produit des résultats apparemment plausibles, mais factuellement incorrects, inventés ou non vérifiés.
Ce phénomène, parfois appelé confabulation, est particulièrement critique dans les contextes où la fiabilité de l’information est essentielle, notamment dans les secteurs médical, juridique, financier ou réglementaire.
Dans une perspective de gouvernance, les hallucinations doivent être anticipées par des mécanismes de vérification, de supervision humaine, de documentation des limites du système et de contrôle des usages à risque.
Une attaque adversariale est une technique visant à manipuler les données d’entrée d’un modèle d’IA afin de provoquer une erreur, un contournement ou un comportement incorrect.
Elle peut par exemple consister à modifier subtilement une image, un texte, un signal ou une donnée utilisée par le système, de manière à induire le modèle en erreur.
Ces attaques représentent un risque de sécurité important, notamment pour les systèmes d’IA utilisés dans des contextes sensibles comme les véhicules autonomes, la cybersécurité, la santé, la finance ou le contrôle d’accès.
Dans une perspective de gouvernance, elles doivent être anticipées par des tests de robustesse, une surveillance continue des performances, des mécanismes de détection et des mesures de sécurité adaptées.
La responsabilité en matière d’IA désigne l’obligation d’identifier les acteurs responsables de la conception, du déploiement, de l’utilisation et de la supervision d’un système d’IA.
Elle implique que les décisions, actions et résultats produits par un système d’IA puissent être documentés, expliqués et, lorsque nécessaire, retracés jusqu’aux personnes, équipes ou organisations concernées.
Dans une perspective de gouvernance, la responsabilité permet de clarifier qui doit répondre des risques, des erreurs, des biais, des dommages éventuels et du respect des exigences éthiques, réglementaires et organisationnelles.
L’empoisonnement des données est une attaque visant à introduire des données fausses, biaisées ou manipulées dans les jeux de données utilisés pour entraîner, ajuster ou mettre à jour un modèle d’IA.
L’objectif est de corrompre le processus d’apprentissage afin d’influencer le comportement du modèle et de produire des résultats incorrects, trompeurs, discriminatoires ou dangereux.
Dans une perspective de gouvernance, ce risque doit être anticipé par des contrôles de qualité des données, une traçabilité des sources, des mécanismes de validation et une surveillance continue des performances du modèle.
La dérive des données survient lorsque les données utilisées en entrée d’un système d’IA évoluent dans le temps au point de ne plus correspondre statistiquement aux données sur lesquelles le modèle a été entraîné.
Ce phénomène peut entraîner une dégradation des performances, des résultats moins fiables ou des décisions erronées.
Dans une perspective de gouvernance, la dérive des données doit être surveillée tout au long du cycle de vie du système afin de détecter les changements significatifs, réévaluer les performances du modèle et, si nécessaire, procéder à son ajustement ou à son réentraînement.
Les deepfakes sont des contenus audio, vidéo ou visuels altérés ou générés par l’IA, souvent de manière très réaliste.
Ils peuvent être utilisés pour créer de faux discours, de fausses images, de fausses vidéos ou de fausses preuves, avec un risque important de manipulation, d’atteinte à la réputation, de fraude ou de diffusion de désinformation.
La désinformation désigne la diffusion intentionnelle de contenus faux ou trompeurs. À l’inverse, la mésinformation désigne la diffusion de contenus inexacts ou trompeurs sans intention délibérée de nuire.
Dans une perspective de gouvernance, ces risques doivent être anticipés par des mécanismes de vérification, de traçabilité, de détection des contenus générés par IA et de sensibilisation des utilisateurs.
3. Les outils d’évaluation et d’audit des systèmes d’IA
Les outils de gouvernance permettent de documenter, contrôler et améliorer les systèmes d’IA avant et après leur mise en production.
Un audit de l’IA est une évaluation systématique d’un système d’IA, ou d’un portefeuille de systèmes d’IA, visant à vérifier son fonctionnement, sa performance, sa conformité et sa maîtrise des risques.
Il permet d’examiner si le système fonctionne comme prévu, respecte les lois, réglementations, normes et politiques internes applicables, et dispose d’une documentation suffisante pour être compris, contrôlé et supervisé.
L’audit de l’IA peut également identifier des risques non détectés lors des phases de conception ou de développement, notamment en matière de biais, de sécurité, de transparence, de robustesse ou d’impact sur les droits des personnes.
L’assurance IA désigne l’ensemble des cadres, politiques, processus et contrôles permettant d’évaluer, de démontrer et de renforcer la sécurité, la fiabilité et la conformité des systèmes d’IA.
Elle vise à apporter un niveau de confiance raisonnable dans le fait qu’un système d’IA fonctionne comme prévu, que ses risques sont maîtrisés et qu’il respecte les exigences applicables.
Les dispositifs d’assurance IA peuvent inclure des évaluations de conformité, des évaluations d’impact, des audits, des certifications, des tests de robustesse, des contrôles documentaires et des mécanismes de suivi continu.
L’évaluation d’impact de l’IA est un processus d’analyse visant à identifier, comprendre, évaluer et atténuer les effets potentiels d’un système d’IA sur les individus, l’organisation et la société.
Elle peut couvrir les implications éthiques, juridiques, économiques, sociales, organisationnelles et opérationnelles du système, notamment en matière de droits fondamentaux, de sécurité, de non-discrimination, de transparence et de protection des données.
Elle se distingue de l’évaluation des risques, qui se concentre davantage sur l’identification, la probabilité, la gravité et les mesures de maîtrise des risques associés au système.
L’évaluation de la conformité est une analyse visant à déterminer si un système d’IA respecte les exigences applicables avant sa mise sur le marché, son déploiement ou son utilisation.
Elle peut être réalisée par l’organisation elle-même ou, dans certains cas, par une entité indépendante, selon le niveau de risque du système et les exigences réglementaires applicables.
Cette évaluation peut porter notamment sur le système de gestion des risques, la gouvernance des données, la documentation technique, la tenue des registres, la transparence, la supervision humaine, la robustesse, la cybersécurité et le suivi post-déploiement.
Une fiche modèle est un document synthétique qui décrit les principales caractéristiques d’un modèle d’IA, notamment son usage prévu, ses données d’entraînement, ses performances, ses limites, ses conditions d’utilisation et ses risques connus.
Elle peut également présenter des métriques de performance et des résultats d’évaluation selon différents contextes, populations ou groupes concernés, afin d’identifier d’éventuelles variations de fiabilité, de précision ou d’équité.
Dans une perspective de gouvernance, la fiche modèle facilite la transparence, la documentation, l’auditabilité et l’évaluation des risques liés au modèle.
Une fiche système est un document synthétique qui décrit le fonctionnement global d’un système d’IA, au-delà du seul modèle utilisé.
Elle présente notamment la finalité du système, ses composants, les modèles intégrés, les données utilisées, les utilisateurs concernés, les conditions d’utilisation, les limites connues, les contrôles mis en place et les risques associés.
Dans une perspective de gouvernance, la fiche système facilite la transparence, l’explicabilité, l’auditabilité et la supervision du système d’IA dans son ensemble.
L’humain dans la boucle désigne une approche de conception dans laquelle une supervision, une intervention ou une validation humaine est intégrée au fonctionnement d’un système d’IA.
Ce mécanisme permet à une personne de contrôler, corriger, confirmer ou interrompre certaines décisions ou actions produites par le système, notamment lorsque celles-ci peuvent avoir un impact significatif.
Dans une perspective de gouvernance, l’humain dans la boucle contribue à renforcer la responsabilité, la sécurité, la maîtrise des risques et la confiance dans les systèmes d’IA.
Un plan de secours est un dispositif prévu pour être activé lorsqu’un système d’IA se comporte de manière inattendue, défaillante ou dangereuse.
Il peut prévoir l’arrêt temporaire du système, le basculement vers une procédure manuelle, l’utilisation d’un système alternatif ou l’activation de mécanismes de redondance technique.
Dans une perspective de gouvernance, le plan de secours contribue à renforcer la sécurité, la robustesse, la continuité d’activité et la maîtrise des risques liés aux systèmes d’IA.
4. Les fondements conceptuels de l’intelligence artificielle
Comprendre la gouvernance de l’IA suppose également de maîtriser certains concepts techniques de base.
Ensemble de technologies permettant à des systèmes informatiques d’effectuer des tâches nécessitant habituellement des capacités humaines, comme l’analyse, la prédiction, la classification ou la génération de contenu.
Concept d’une IA capable d’exécuter une grande variété de tâches intellectuelles avec un niveau d’adaptation comparable ou supérieur à celui d’un humain.
Méthode permettant à un système d’améliorer ses performances à partir de données, sans être explicitement programmé pour chaque règle de décision.
L’apprentissage profond est un sous-domaine de l’intelligence artificielle et de l’apprentissage automatique qui utilise des réseaux de neurones artificiels composés de plusieurs couches.
Ces couches permettent au modèle d’identifier progressivement des motifs complexes dans de grands volumes de données.
L’apprentissage profond est particulièrement utilisé pour traiter des données non structurées, comme les images, le langage naturel, la voix ou la vidéo.
Un réseau de neurones est un type de modèle d’IA inspiré de manière simplifiée du fonctionnement des neurones biologiques.
Il est composé de couches de nœuds interconnectés qui traitent les données et permettent d’identifier des relations complexes, notamment non linéaires.
Les réseaux de neurones sont largement utilisés en apprentissage profond, par exemple pour la reconnaissance d’images, le traitement du langage naturel, la reconnaissance vocale ou certaines applications médicales.
Un algorithme est un ensemble d’instructions, de règles ou d’étapes permettant à un système informatique d’effectuer une tâche, de résoudre un problème ou de produire un résultat à partir de données.
Dans le domaine de l’IA, les algorithmes peuvent être utilisés pour analyser des données, détecter des motifs, effectuer des prédictions ou entraîner un modèle d’apprentissage automatique.
La puissance de calcul désigne les ressources matérielles utilisées pour entraîner, exécuter ou déployer un système d’IA, notamment les processeurs centraux, les processeurs graphiques et les autres accélérateurs spécialisés.
Elle influence la capacité d’un modèle à traiter de grands volumes de données, à effectuer des calculs complexes et à produire des résultats en phase d’entraînement ou d’inférence.
Dans une perspective de gouvernance, la puissance de calcul peut avoir des implications en matière de coûts, de performance, de consommation énergétique, de sécurité et d’accès aux capacités nécessaires pour développer ou utiliser certains systèmes d’IA.
5. Les types d’apprentissage automatique
et leurs implications pour la gouvernance
Comprendre les différentes méthodes d’apprentissage est indispensable pour évaluer les risques de biais, les besoins en données et les exigences de supervision.
Type d'apprentissage
Description synthétique
Implication pour la gouvernance
Supervisé (supervised learning)
Modèle entraîné sur des données étiquetées avec des sorties connues.
Traçabilité et qualité des données d’entraînement essentielles.
Non supervisé (unsupervised learning)
Modèle entraîné sur des données non étiquetées pour détecter des structures.
Risques de biais ou de regroupements problématiques plus difficiles à détecter.
Semi-supervisé (semi-supervised learning)
Modèle entraîné avec une combinaison de données étiquetées et non étiquetées.
Provenance, qualité et documentation des données à contrôler.
Par renforcement (reinforcement learning)
Modèle entraîné par essais, erreurs, récompenses et pénalités.
Comportements imprévus possibles si les objectifs sont mal définis.
Fédéré
Apprentissage distribué sans centralisation des données brutes.
Renforce la protection de la vie privée, mais exige une gouvernance technique solide.
Actif
Le modèle sélectionne les données les plus utiles pour améliorer son apprentissage.
Supervision humaine requise dans la sélection et la validation des données.
Par transfert
Connaissances acquises sur une tâche réutilisées pour une autre.
Risque de biais, limites ou erreurs hérités du modèle source.
Points clés à retenir
La gouvernance de l’IA repose sur des cadres structurés qui couvrent les dimensions techniques, éthiques, organisationnelles et réglementaires des systèmes d’IA.
- Les notions d’auditabilité, de transparence, d’explicabilité et de responsabilité sont au cœur des exigences actuelles, notamment dans le cadre du Règlement européen sur l’IA.
- Les risques liés aux biais, aux hallucinations, aux attaques adversariales ou à la dérive des données doivent être anticipés dès la conception et suivis tout au long du cycle de vie du système.
- Des concepts comme l’auditabilité, la transparence et la responsabilité sont au cœur des exigences de l’EU AI Act.
- Les risques tels que les biais, les hallucinations et les attaques adversariales doivent être anticipés dès la conception du système.
- Maîtriser un vocabulaire commun permet aux équipes dirigeantes, juridiques, conformité, métiers et techniques de mieux collaborer, d’évaluer les risques avec méthode et de piloter l’IA de manière plus responsable.
