Surveillance humaine

La surveillance humaine est une autorité humaine planifiée, une revue, une intervention et une montée en charge au sein d’un workflow assisté par l’IA, adaptée au risque de la tâche [1].

La surveillance humaine n’est pas la même chose qu’avoir une personne à proximité. Une surveillance significative nécessite assez de contexte, de compétence, de temps et d’autorité pour contester, arrêter, modifier ou inverser une action assistée par l’IA. Un réviseur qui ne peut qu’approuver sous pression n’est pas un contrôle solide.

Le contrôle doit être conçu avant que le workflow ne soit mis en ligne. Les équipes doivent décider quelles actions peuvent être automatisées, lesquelles nécessitent une revue, lesquelles nécessitent une approbation finale et lesquelles doivent être escaladées à un propriétaire qualifié. Plus le conséquence est élevée, plus le point de contrôle doit être fort.

Le travail assisté par l'IA se déroule souvent rapidement. Un modèle rédige, classe, résume, recommande, récupère ou déclenche une action d'outil. Cette rapidité peut aider, mais elle peut aussi faire passer des erreurs à travers un processus avant que quelqu'un ne s'en aperçoive. La surveillance humaine donne au workflow un endroit pour ralentir lorsque les enjeux augmentent.

NIST AI RMF 1.0 inclut explicitement la définition, l'évaluation et la documentation des processus pour un contrôle humain comme partie de la cartographie des risques liés à l'IA [1]. L'OCDE considère également les systèmes d'IA comme des systèmes dont les sorties peuvent influencer des environnements physiques ou virtuels et met en avant la responsabilité comme principe fondamental [2]. Ces idées pointent vers une règle pratique : quelqu'un doit savoir quand l'IA n'aide qu'occasionnellement et quand une personne est responsable de la décision.

Le contrôle est particulièrement important lorsqu'IA affecte l'argent, la santé, l'éducation, l'emploi, la sécurité, les comptes clients, les droits juridiques, la sécurité ou l'accès aux services. Dans ces cas, une sortie soignée n'est pas suffisante. Le workflow a besoin de preuves, d'une escalade et d'une propriété responsable.

Commencez par séparer les rôles. L'opérateur utilise le système pendant la tâche. Le réviseur vérifie la sortie assistée par l'IA ou l'action proposée. Le responsable de la décision est responsable de la décision finale et de ses conséquences. Une seule personne peut occuper plus d'un rôle dans une petite équipe, mais les rôles doivent rester clairs.

Prochaine correspondance de la force de revue au risque. La rédaction à faible risque peut nécessiter une lecture humaine rapide. Le contenu destiné aux clients peut nécessiter des vérifications de source et une revue du ton. Un changement de sécurité peut nécessiter une validation technique. Une décision d'embauche, médicale, juridique ou financière peut nécessiter un propriétaire humain qualifié, des preuves documentées et un chemin clair d'appel ou de révocation.

Le « humain dans la boucle », le « humain sur la boucle » et l'approbation finale sont des modèles d'implémentation utiles, mais ils ne sont pas des définitions fixes. Dans un produit, le « humain dans la boucle » peut signifier l'approbation avant chaque action. Dans un autre, cela peut signifier la revue des sorties échantillonnées. La question importante est ce que le humain peut réellement voir et contrôler.

Une bonne conception de surveillance définit également l'intervention. Le réviseur doit savoir comment suspendre le workflow, rejeter une sortie, demander plus de preuves, escalader vers un spécialiste, corriger un enregistrement, annuler une action ou documenter pourquoi la recommandation de l'IA n'a pas été suivie.

Imaginons qu'une équipe de support utilise un assistant IA pour rédiger des réponses de remboursement. Pour les demandes de faible valeur et routine, l'assistant rédige une réponse et l'opérateur la vérifie avant de l'envoyer. Pour les demandes inhabituelles, le langage juridique, les clients en colère ou les grands remboursements, le workflow est transmis à un réviseur senior.

Le réviseur humain voit les faits du client, la politique de remboursement, le passage source, le brouillon de l'IA, les avertissements de confiance du produit s'ils sont disponibles, et les notes de compte antérieures. Le réviseur peut éditer, rejeter ou faire remonter. Le responsable décide du remboursement. C'est une surveillance car l'humain a le contexte, l'autorité et une chance réelle de modifier le résultat.

Une idée fausse courante est que la revue par un humain garantit la sécurité. Ce n'est pas le cas. Les humains peuvent manquer des erreurs, faire trop confiance à l'IA, approuver aveuglément des suggestions, s'essouffler ou manquer des compétences nécessaires pour la décision. La surveillance humaine est un contrôle qui doit être conçu et testé, et non un bouclier magique.

Une autre idée fausse est que le contrôle signifie qu'il faut toujours une vérification manuelle de chaque sortie d'IA. Cela peut entraîner de la fatigue et du retard sans réduire réellement le risque. Le contrôle basé sur le risque concentre l'attention humaine là où les erreurs auraient le plus d'importance.

Une surveillance faible peut être pire qu'aucune surveillance, car elle crée un faux sentiment de confiance. Un processus peut affirmer qu'un humain est en charge tout en donnant à cette personne trop peu de temps, trop peu de preuves ou aucune autorité pour arrêter l'action. Cela peut masquer la responsabilité au lieu de l'améliorer.

Le NIST considère la gestion des risques liés à l'IA générative comme une responsabilité continue tout au long du cycle de vie [3]. Pour le contrôle, cela signifie que les équipes doivent surveiller si les réviseurs détectent réellement les problèmes, si les chemins d'escalade fonctionnent et si les utilisateurs comprennent les limites du système. Les lignes directrices CHI pour l'interaction humain-IA mettent également l'accent sur la définition des attentes, le soutien à la correction et la possibilité pour les utilisateurs de donner des commentaires [4].

Avant de faire confiance à un contrôle humain, demandez : Qui est l'opérateur ? Qui est le réviseur ? Qui détient la décision finale ? Quelles preuves le réviseur voit-il ? Le réviseur peut-il arrêter ou annuler l'action ? Quel doit être escaladé ? Que se passe-t-il si le réviseur ne partage pas l'avis de la sortie de l'IA ?

Demandez également si le réviseur dispose d'une expertise et d'un temps suffisants. Une décision juridique, médicale, d'embauche, de sécurité ou financière nécessite plus qu'un simple coup d'œil. La revue doit correspondre au préjudice pouvant survenir si la sortie de l'IA est erronée, incomplète, biaisée, obsolète ou appliquée à un cas incorrect.