Le contrôle humain est le principe du règlement européen sur l'IA (AI Act) selon lequel les systèmes d'IA doivent être conçus de manière à ce que des personnes qualifiées puissent comprendre ce qu'ils font, surveiller leur fonctionnement et intervenir en cas de besoin. L'article 14 l'exige expressément pour les systèmes à haut risque, et cet esprit s'étend à toute entreprise qui déploie des agents pour agir sur des clients, de l'argent ou des données.
Ce que doit pouvoir faire la personne qui supervise
- Comprendre les capacités et les limites du système, et détecter les anomalies ou les résultats inattendus.
- Ne pas se fier par inertie à ce que propose la machine (le règlement parle d'éviter le « biais d'automatisation »).
- Interpréter correctement les résultats et décider s'ils doivent être utilisés, corrigés ou rejetés.
- Intervenir : arrêter le système, annuler une action ou empêcher son exécution.
Formation
Superviser exige de savoir. C'est pourquoi le même règlement, dans son article 4, oblige les entreprises à garantir la maîtrise de l'IA des personnes qui exploitent ces systèmes : on ne peut pas superviser ce que l'on ne comprend pas.
Relation avec le HITL
Human in the loop (HITL) est la manière pratique de s'y conformer : intégrer l'approbation d'une personne dans le flux des actions importantes, avec des autorisations minimales et des limites explicites pour chaque agent. La question qui résume ces deux aspects est la même : qui dirige le système, avec quelles autorisations et quelles limites.