Les agents ont besoin d'auditeurs, pas seulement de plus d'autonomie

Le prochain goulot d’étranglement pour les agents IA n’est pas de savoir s’ils peuvent accomplir davantage de travail.

Il s’agit de savoir si quelqu’un peut prouver ce qu’il a fait.

Lors de Fortune Brainstorm Tech à Aspen, les dirigeants de May Mobility, Thomson Reuters, Trustguard AI et SentinelOne ont fait valoir le même point sous différents angles : à mesure que les agents passent de la réponse aux questions à l'exécution des flux de travail, la vérification devient le produit. Les pistes d'audit, les résultats transparents, les juges indépendants de l'IA, les données gouvernées et la responsabilité critique en matière de sécurité ne sont plus des extras de conformité. Il s'agit de l'infrastructure qui permet aux agents de travailler à grande échelle.

C'est le bon cadrage.

L'industrie a passé les deux dernières années à se demander : « Jusqu'à quel point les agents peuvent-ils devenir autonomes ? La meilleure question d’entreprise est la suivante : « Dans quelle mesure les agents peuvent-ils devenir auditables avant que l’autonomie ne devienne dangereuse ? »

Car un agent qui ne peut être audité n’est ni un employé, ni un coéquipier, ni un système d’exploitation.

C'est un handicap avec une interface de chat.

L'autonomie sans responsabilité n'est pas évolutive

Un humain peut examiner une réponse de l’IA.

Un responsable peut vérifier sur place dix résultats.

Une équipe de conformité peut enquêter sur une défaillance visible.

Mais une fois que les agents commencent à exécuter des centaines ou des milliers de tâches dans les enregistrements CRM, les e-mails des clients, les factures, les tickets d'assistance, les files d'attente de sourcing, les bases de code, les contrats, les réclamations ou les documents financiers, la révision manuelle s'effondre. Le volume de travail augmente plus vite que la capacité humaine à l’inspecter.

C'est le point soulevé par Gregor Stewart de SentinelOne lors du panel Fortune : les équipes peuvent se retrouver avec tellement de travail généré par l'IA à auditer qu'elles ne peuvent pas vraiment en être responsables.

C’est le mode de faillite d’entreprise que personne ne veut mettre en avant lors du lancement.

La démo a l'air magique car l'agent accomplit une tâche.

La production s'arrête parce que l'agent accomplit 10 000 tâches et que personne ne peut reconstruire les 37 mauvaises.

La piste d'audit est la nouvelle interface utilisateur

La plupart des produits d'agent traitent encore la piste d'audit comme de la plomberie : un flux de journaux pour les ingénieurs, une exportation de conformité ou un artefact de débogage.

C'est à l'envers.

Pour les agents de production, la piste d'audit fait partie de l'interface utilisateur. Il s’agit de la façon dont les opérateurs comprennent ce qui s’est passé, comment les gestionnaires approuvent le travail, comment les auditeurs échantillonnent les risques, comment les développeurs corrigent les pannes et comment les régulateurs peuvent démontrer qu’un système est gouverné.

Une piste d'audit d'agent utile devrait répondre à des questions de base sans archéologie :

Qu'est-ce qu'on a demandé à l'agent de faire ?
Quelles données a-t-il vu ?
Quels outils a-t-il appelé ?
Qu'est-ce que chaque outil a renvoyé ?
Quelles hypothèses a-t-il faites ?
Quelle politique ou quel manuel a-t-il suivi ?
Où a-t-il réessayé, bifurqué, escaladé ou arrêté ?
Qu'est-ce qui a changé dans le système d'enregistrement ?
Quel humain a approuvé l'action finale ?
Quelles preuves soutiennent le résultat ?

Si la réponse est « nous avons la transcription quelque part », cela ne suffit pas.

Une transcription n’est pas un système d’audit. Une transcription est une pile de texte.

Un système d'audit est structuré, interrogeable, autorisé et lié aux résultats commerciaux.

Les juges IA aident, mais ils ne peuvent pas être du théâtre

La discussion sur Fortune a également fait ressortir le modèle « LLM en tant que juge » : un modèle ou un agent effectue le travail et un modèle ou un agent distinct le révise. Elena Kvochko de Trustguard AI l'a décrit avec l'analogie écrivain-éditeur : un agent crée, un autre vérifie.

Ce modèle compte. Cela devient déjà un standard dans la conception d’agents sérieux.

Mais il existe un mode d’échec évident : le théâtre de vérification.

Si le juge utilise le même contexte, les mêmes angles morts, les mêmes incitations, le même style d'invite et la même famille modèle que le travailleur, l'organisation n'achète peut-être que l'apparence d'un examen. Le système indique « vérifié » parce qu'un autre modèle l'a examiné, et non parce que le résultat est réellement fondé, conforme à la politique ou sur lequel il est sûr d'agir.

Un vrai juge IA a besoin de séparation :

Objectif séparé. Le travailleur optimise l'exécution de la tâche. Le juge optimise la découverte des erreurs.
Preuves séparées. Le juge vérifie les citations, les enregistrements sources, les résultats des outils, les politiques et les décisions historiques au lieu de lire uniquement la prose du travailleur.
Seuils séparés. Le juge peut bloquer, dégrader la confiance, demander plus de preuves ou transmettre à un humain.
Télémétrie séparée. Les décisions du juge sont enregistrées afin que l'entreprise puisse mesurer les fausses passes, les faux blocages et examiner la dérive.
Propriété séparée. Le propriétaire de l'entreprise peut définir ce que « bon » signifie pour le flux de travail sans modifier le comportement global de l'agent de travail.

Vous ne voulez pas que l’IA note ses propres devoirs.

Vous ne voulez pas non plus que les juges de l’IA se contentent d’approuver les devoirs d’une voix plus formelle.

Les industries critiques en matière de sécurité connaissent déjà le modèle

Les véhicules autonomes, l’aviation, les soins de santé, la finance, la sécurité et les systèmes industriels vivent avec une version de ce problème depuis des décennies. La leçon n’est pas « ne jamais automatiser ». La leçon est que l’autonomie ne devient acceptable que lorsqu’elle est entourée de surveillance, de redondance, d’examen des incidents, de contrôles et d’opérateurs responsables.

C'est pourquoi Edwin Olson de May Mobility a mis l'accent sur la transparence et l'introspection : les systèmes commettent des erreurs, les équipes doivent donc comprendre pourquoi l'erreur s'est produite et montrer ce qui a changé par la suite.

Les agents Enterprise ont besoin de la même discipline.

Non pas parce que chaque brouillon d’e-mail est une voiture autonome.

Parce que les systèmes agentiques créent de longues chaînes de petites actions. Une seule erreur peut être mineure, mais une erreur répétée sur 400 clients, 2 000 factures ou 10 000 lignes de code généré devient un risque opérationnel.

La leçon de l’ingénierie critique en matière de sécurité est simple : si vous ne pouvez pas tracer le chemin de décision, vous ne pouvez pas augmenter l’autonomie en toute sécurité.

La barre de l'IA de qualité professionnelle est plus haute

Caitlin Halferty de Thomson Reuters a relié la discussion à l'IA de « qualité fiduciaire » : les systèmes utilisés par les professionnels dans les workflows juridiques, fiscaux, de conformité et d'audit nécessitent des résultats transparents, un contenu fiable, la sécurité des données, la confidentialité et une expertise en la matière.

Cette norme va s’étendre au-delà du cadre juridique et fiscal.

Les équipes commerciales devront savoir pourquoi un prospect a été priorisé.

Les équipes de recrutement devront montrer pourquoi un candidat a été avancé ou rejeté.

Les équipes de réussite client devront expliquer pourquoi un compte a été signalé comme à risque.

Les équipes financières devront justifier pourquoi une exception a été signalée.

Les équipes marketing devront prouver que les allégations de contenu proviennent.

Les équipes d’assistance devront reconstituer pourquoi un agent a promis quelque chose à un client.

Chaque fonction qui adopte des agents hérite finalement d'un problème d'audit.

La question est de savoir si la plateforme traite cela comme une exigence de conception de premier ordre ou comme une réflexion après coup une fois que le marché le demande.

Ce qu'un auditeur agent vérifie réellement

Un auditeur mandataire n’est pas seulement une personne. C'est un rôle dans le système.

Parfois, l’auditeur est un examinateur humain. Parfois, il s'agit d'un agent de vérification distinct. Parfois, il s'agit d'un moteur de stratégie, d'une suite d'évaluation, d'un workflow d'approbation ou d'un processus de surveillance. Dans les déploiements matures, c’est tout cela ensemble.

L'auditeur vérifie cinq niveaux :

1. Intégrité des entrées

L’agent travaillait-il à partir des bonnes données ? Les données étaient-elles à jour, autorisées, complètes et pertinentes ? L'utilisateur a-t-il demandé quelque chose d'ambigu ? Le flux de travail reposait-il sur des champs CRM obsolètes, un enrichissement interrompu ou un contexte manquant ?

Les mauvaises entrées créent de mauvaises sorties confiantes.

2. Intégrité des processus

L’agent a-t-il suivi le playbook approuvé ? A-t-il appelé les bons outils ? A-t-il sauté les étapes requises ? A-t-il réessayé de manière responsable ? La situation s’est-elle aggravée lorsque la confiance a chuté ? Est-ce resté dans le champ d’application ?

C’est là que les traces structurées comptent plus que le raisonnement en langage naturel.

3. Intégrité de la sortie

Le résultat final est-il précis, fondé, correctement formaté, conforme à la politique et utile ? Les affirmations sont-elles étayées par des preuves ? Les cas limites sont-ils identifiés ? Les recommandations sont-elles correctement mises en garde ?

C’est là que se croisent les juges, les évaluations et les examens humains de l’IA.

4. Intégrité des actions

Qu’est-ce qui a changé en dehors de l’agent ? Un email a-t-il été envoyé, un champ CRM mis à jour, un ticket clôturé, un candidat rejeté, un dossier édité, un paiement déclenché ou un rapport délivré ? Cette action a-t-elle été approuvée ?

Le moment le plus risqué n’est pas la génération. C'est une conséquence externe.

5. Intégrité de l'apprentissage

Qu’est-ce que le système a appris de l’exécution ? Les sorties acceptées ont-elles amélioré la mémoire ? Les sorties rejetées ont-elles modifié le playbook ? Les échecs sont-ils devenus des cas de test ? L’organisation s’est-elle améliorée ou a-t-elle simplement consommé des jetons ?

C’est là que l’audit devient un avantage cumulatif.

Le point de vue de AgentLed : chaque agent géré a besoin d'un plan de contrôle

Chez AgentLed, nous pensons que la conversation d'audit est le pont manquant entre des démonstrations impressionnantes et un déploiement réel.

Un agent ne doit pas être jugé uniquement sur ce qu’il peut faire. Il convient de juger dans quelle mesure l’entreprise peut superviser, vérifier, améliorer et faire confiance à ce qu’elle fait.

Cela nécessite un plan de contrôle autour de l'agent :

Historique d'exécution qui montre chaque exécution, appel d'outil, résultat et exception.
Mémoire Knowledge Graph qui capture les décisions acceptées, les résultats rejetés, les préférences des clients, les contraintes politiques et les apprentissages des flux de travail.
Portes d'approbation pour les actions destinées aux clients, sensibles à la conformité, financières, destructrices ou risquées pour la réputation.
Boucles d'évaluation qui comparent les résultats par rapport à la propre barre de qualité de l'entreprise.
Les agents d'examen IA dont la mission est de détecter les erreurs et non de flatter le travailleur.
Chemins d'escalade humaine lorsque les seuils de confiance, de politique ou de risque nécessitent un examen.
ROI et télémétrie des coûts pour que les équipes sachent quel travail d'agent crée de la valeur et lequel crée du bruit.
Contexte portable permettant à l'entreprise de changer de modèle sans perdre la couche d'audit et d'apprentissage.

C’est pourquoi l’orchestration d’agents ne peut pas se limiter à enchaîner des outils.

Le travail le plus difficile consiste à responsabiliser le travail des agents.

La nouvelle question du déploiement

Lorsqu'un fournisseur vous montre un agent, ne demandez pas seulement ce qu'il peut faire.

Demandez ce qui se passe lorsque cela ne va pas.

Demandez comment vous rejouez une course.

Demandez où sont conservées les preuves.

Demandez si un juge distinct examine les résultats à haut risque.

Demandez quelles actions nécessitent une approbation.

Demandez comment les échecs deviennent des tests.

Demandez qui peut remplacer l'agent.

Demandez si la piste d'audit survit si vous changez de modèle.

Demandez comment le système s’améliore au fil du temps.

Ces questions sembleront ennuyeuses dans une démo.

Ils compteront plus que la démo en production.

Les agents ont besoin d'auditeurs parce que les entreprises ont besoin de confiance

L’ère des agents ne sera pas gagnée par le système le plus autonome de la pièce.

Elle sera gagnée par le système qui peut agir, expliquer, vérifier, faire remonter, apprendre et être tenu responsable.

L’autonomie n’est utile que lorsqu’elle est limitée par des preuves.

Les juges IA ne sont utiles que s’ils sont suffisamment indépendants pour détecter les erreurs.

Les pistes d’audit ne sont utiles que lorsqu’elles sont suffisamment structurées pour reconstruire la réalité.

L’examen humain n’est utile que lorsqu’il se concentre sur les décisions qui comportent réellement des risques.

L’avenir des agents d’entreprise n’est pas une nuée de robots non supervisés effectuant un travail invisible.

Il s’agit d’un travail d’agent géré avec des auditeurs intégrés.

C’est ainsi que les agents passent de la nouveauté à l’infrastructure.

##Sources

Couverture Fortune du panel Brainstorm Tech sur la vérification de l'IA agentique : https://fortune.com/2026/06/15/as-ai-systems-produce-more-work/
Présentation de Thomson Reuters sur l'IA de qualité professionnelle dans les domaines juridique, fiscal, d'audit, de comptabilité, de risque et de conformité : https://www.thomsonreuters.com/en/artificial-intelligence
Annonce de Thomson Reuters concernant Audit Intelligence pour les flux de travail d'audit basés sur les données : https://www.thomsonreuters.com/en/press-releases/2024/september/thomson-reuters-unveils-ai-powered-audit-intelligence-solutions-to-reimagine-auditing-practices

Les agents ont besoin d’auditeurs, pas seulement de plus d’autonomie