Nous devons de toute urgence surveiller en temps réel les actions des agents IA

Opinion

Cet été, des centaines d’agents d’OpenAI ont tenté de tricher lors d’un test de cybersécurité. Ils sont sortis de leur environnement de test et ont réussi à pirater Hugging Face, un site dont ils pensaient qu’il contenait des indices sur la manière dont ils seraient évalués. À peu près au même moment, un autre agent d’OpenAI a accédé à des fichiers privés sur un site Internet du gouvernement australien.

Le problème est loin de se limiter à OpenAI. Au cours des mois qui ont suivi, Anthropic, Google et Meta ont également révélé des incidents au cours desquels leurs agents ont dévié de leur trajectoire. Et, ce qui est particulièrement inquiétant, dans de nombreux cas, ces agents ont échappé à la surveillance même des chercheurs et des équipes de sécurité chargés de les contrôler.

Les agents IA prennent des initiatives non autorisées, et les entreprises qui les développent et les exploitent comptent essentiellement sur la chance et sur l'analyse a posteriori pour limiter les conséquences potentiellement néfastes de leurs actions.

Elles doivent faire davantage pour garantir leur sécurité.

C’est pourquoi les autorités de régulation européennes et les agences américaines ont raison d’exiger des développeurs et des utilisateurs d’agents IA qu’ils mettent en place une surveillance en temps réel.

Mais ces règles partent du principe que les entreprises sont capables de voir ce que font leurs agents et pourquoi ils le font. Or, dans la réalité, elles ne disposent pas d'une visibilité suffisante.

Imaginez une banque qui recruterait un millier de nouveaux employés ayant accès aux comptes de ses clients et à des informations sensibles, mais dont les badges d'identification changeraient chaque jour. Il serait impossible de savoir si un responsable a examiné ou autorisé leur travail, et personne ne consignerait les modifications qu'ils apportent aux procédures de validation.

C’est précisément le manque de visibilité auquel nous sommes confrontés aujourd’hui avec les agents IA.

À mesure que les agents se déploient dans des secteurs critiques, de la finance à l’administration publique en passant par la médecine, nous devons être capables de surveiller leurs activités en temps réel afin d’éviter des conséquences potentiellement dévastatrices.

La sécurité dépend de cette surveillance, mais celle-ci nécessite ce que l’on appelle l’observabilité : la capacité à enregistrer ce que le système a fait, à transformer ces informations en indicateurs exploitables et à les présenter à des humains ou à des systèmes automatisés de supervision.

Autrement dit, nous devons savoir ce que l’agent a fait et pourquoi il l’a fait.

Or, comme le montre notre récente étude, les infrastructures logicielles actuelles utilisées pour faire fonctionner les agents ne produisent pas de manière fiable les informations essentielles dont nous avons besoin pour garantir leur déploiement en toute sécurité.

Les agents IA posent de nouveaux problèmes

Les agents présentent des risques spécifiques que l’IA générative classique ne pose pas de la même manière.

Ils héritent de l’imprévisibilité des grands modèles de langage (LLM) sur lesquels ils reposent. Mais, contrairement à un système d’IA générative qui produit une réponse unique qu’un humain peut ensuite utiliser, un agent exécute des tâches beaucoup plus longues.

Il planifie, sélectionne des outils, crée des sous-agents et réalise des actions.

Le parcours suivi par un agent peut donc prendre une multitude de formes différentes. Aucun test effectué avant son lancement ne peut anticiper tous les risques possibles.

Cela rend l'observation des agents pendant leur fonctionnement à la fois plus difficile et encore plus importante.

Avec des collègues issus du monde universitaire, de la société civile et de l'industrie, nous avons étudié les quatre infrastructures logicielles d'agents les plus utilisées afin de déterminer quels signaux elles produisent réellement.

Nous avons constaté d'importantes lacunes qui empêchent d'atteindre des objectifs essentiels en matière de sécurité, comme :

• Détecter les violations des politiques internes.
• Repérer les actions non autorisées.
• Identifier les défaillances de la supervision humaine.

Certaines informations indispensables à l'observabilité étaient absentes.

Par exemple, les agents ne disposaient pas toujours d'identifiants persistants dans le temps. Les systèmes ne conservaient pas non plus suffisamment d'informations sur les personnes ayant approuvé leurs tâches.

Il devenait donc difficile de savoir quel agent avait effectué quelle action ou de déterminer s'il avait agi sans autorisation.

La bonne nouvelle, c'est que ces lacunes peuvent être corrigées une fois qu'elles ont été identifiées.

Pour commencer, il faut enregistrer deux types d'informations :

1. Les informations sur ce qui s'est passé pendant l'exécution de l'agent.
2. Les informations sur la manière dont l'agent a pris ses décisions.

Les premières permettent d'identifier l'agent, tout en préservant la confidentialité des données, et de consigner les interventions humaines ainsi que les éventuelles modifications de ses autorisations ou de sa mémoire.

Les secondes permettent de comprendre le raisonnement de l'agent et son niveau de confiance dans les actions qu'il entreprend.

Prenons l'exemple d'agents chargés de traiter les demandes de prêts immobiliers d'une banque.

Le système examine un dossier et recommande de refuser le prêt. Un conseiller bancaire valide ensuite cette décision.

Lors d'un audit ultérieur, ou même en temps réel, la banque ou l'autorité de régulation doit pouvoir reconstituer :

• Quel agent a pris la décision initiale.
• Quel conseiller bancaire l'a approuvée.
• Combien de temps le conseiller a mis pour la valider.

La banque doit également pouvoir analyser les informations relatives au processus de décision de l'agent afin de vérifier qu'il n'a pas utilisé des données interdites, comme des informations concernant le quartier de résidence du demandeur.

Enregistrer les actions des agents : une première étape accessible

L'enregistrement de ce qui s'est passé et de la manière dont les agents ont pris leurs décisions nécessite deux approches différentes. Mais toutes deux sont envisageables.

L'absence actuelle d'informations sur les actions des agents relève principalement d'un problème d'infrastructure logicielle.

Ce problème peut être résolu grâce à OpenTelemetry, une norme ouverte d'observabilité maintenue par des ingénieurs de différents acteurs du secteur et adoptée progressivement par les infrastructures logicielles d'agents.

OpenTelemetry a créé un groupe de travail chargé d'élaborer des formats communs pour le traçage des agents.

Cependant, ces standards ne sont pas encore finalisés.

Ce groupe devrait intégrer de toute urgence des normes permettant :

• De conserver une identité persistante pour chaque agent.
• D'enregistrer les interventions humaines.
• De tracer les modifications des autorisations des agents.
• De consigner les modifications de leur mémoire.

Tout cela doit être réalisé avant que ces systèmes ne se généralisent, tout en tenant compte des implications de ces identifiants en matière de confidentialité, notamment lorsqu'ils peuvent être reliés à des personnes réelles.

Comprendre comment les agents prennent leurs décisions : un défi plus complexe

Conserver des informations sur la manière dont les agents prennent leurs décisions est beaucoup plus difficile.

Cette question soulève plusieurs interrogations scientifiques auxquelles les fournisseurs de modèles et les chercheurs doivent répondre.

Le raisonnement étape par étape qu'un modèle affiche, généralement appelé chain of thought (chaîne de pensée), reflète-t-il réellement la manière dont le modèle a pris sa décision ?

Et disposons-nous de méthodes fiables pour mesurer le degré de confiance d'un agent dans sa décision ?

Ces questions doivent trouver des réponses avant que quiconque puisse définir des normes sur la manière dont ces informations d'observabilité doivent être utilisées.

Une responsabilité collective

Aucune organisation ni aucun secteur ne peut, à lui seul, combler les lacunes actuelles en matière d'observabilité.

Mais tous peuvent contribuer à construire les infrastructures nécessaires pour prévenir les incidents dangereux et renforcer la sécurité.

Les développeurs d'IA qui construisent les infrastructures logicielles des agents, comme OpenAI, Anthropic, CrewAI et LangChain, doivent intégrer des mécanismes de télémétrie permettant d'enregistrer :

• L'identité persistante des agents.
• Toutes les interventions humaines.
• Les modifications des autorisations des agents.
• Les changements apportés à leur mémoire.

De leur côté, les entreprises qui adoptent ces infrastructures ont également un rôle déterminant à jouer.

Les entreprises opérant dans des secteurs réglementés, comme les banques et les hôpitaux, peuvent exercer une pression sur les développeurs d'agents afin qu'ils fournissent les informations d'observabilité manquantes, lorsque les standards n'existent pas encore.

Ces entreprises doivent également définir des politiques, des autorisations et des responsabilités précisant ce que les agents sont autorisés à faire en toute sécurité.

En effet, la télémétrie seule ne permet pas de déterminer si un agent a enfreint une règle particulière. Il faut également connaître les règles auxquelles il est censé obéir.

Enfin, les autorités de régulation et les organismes de normalisation de l'IA doivent définir les informations d'observabilité exigées pour les déploiements d'IA à haut risque, tout en laissant à l'industrie le soin de déterminer les détails techniques.

Nous avons déjà observé de premières avancées dans ce domaine.

Aux États-Unis, l'initiative de normalisation des agents du NIST travaille notamment sur la question de l'identité des agents, qui constitue l'une des lacunes les plus importantes mises en évidence par notre étude.

Conclusion : nous ne pouvons plus laisser les agents agir à l'aveugle

Aucune banque ne laisserait un millier d'employés sans badge accéder librement aux comptes de ses clients en espérant pouvoir reconstituer ce qui s'est passé lorsqu'un problème surviendrait.

Pourtant, c'est exactement ainsi que nous déployons aujourd'hui les agents IA.

Rendre leur comportement observable est la première étape pour corriger cette situation.

En construisant un écosystème réglementaire et politique permettant d'agir à partir des informations que nous collectons, nous pouvons responsabiliser les organisations.

D'ici là, chaque tâche que nous confions à un agent nous fait également abandonner une part de notre propre capacité d'action et de contrôle.

À propos des auteures

Madhulika Srikumar est responsable du programme de sécurité de l'IA au sein de Partnership on AI, une organisation internationale à but non lucratif réunissant des acteurs industriels, universitaires et de la société civile pour promouvoir les bonnes pratiques en matière de gouvernance de l'IA.

Claire Leibowicz est directrice du programme IA, confiance et société au sein de Partnership on AI et doctorante à l'université d'Oxford.

Les 3 idées essentielles à retenir

1. Un agent IA doit avoir une identité traçable. Il faut pouvoir savoir quel agent a réalisé quelle action, avec quelles autorisations et sous quelle supervision humaine.
2. Il faut pouvoir reconstituer ses décisions. Enregistrer uniquement les actions ne suffit pas : il faut également comprendre sur quelles informations et quels critères elles reposent, même si la fiabilité des traces de raisonnement reste un problème scientifique ouvert.
3. La responsabilité ne peut pas être déléguée à l'IA. Les développeurs, les entreprises utilisatrices et les régulateurs doivent définir ensemble les règles, les mécanismes de surveillance et les responsabilités.

La thèse centrale de cet article est particulièrement importante : on ne peut pas déployer des agents IA autonomes dans des environnements sensibles sans disposer d'une traçabilité complète de leurs actions, de leurs autorisations et des interventions humaines.