Die menschliche Aufsicht ist das Prinzip der europäischen KI-Verordnung (AI Act), wonach KI-Systeme so konzipiert sein müssen, dass qualifizierte Personen verstehen können, was sie tun, deren Funktionsweise beaufsichtigen und bei Bedarf eingreifen können. Artikel 14 verlangt dies ausdrücklich für Hochrisiko-Systeme, und dieser Grundsatz erstreckt sich auf jedes Unternehmen, das Agenten einsetzt, die mit Kundschaft, Geld oder Daten interagieren.
Was die beaufsichtigende Person tun können muss
- Die Fähigkeiten und Grenzen des Systems verstehen sowie Anomalien oder unerwartete Ergebnisse erkennen.
- Sich nicht aus Trägheit auf die Vorschläge der Maschine verlassen (die Verordnung spricht von der Vermeidung von „automation bias“).
- Die Ausgabe korrekt interpretieren und entscheiden, ob sie verwendet, korrigiert oder verworfen wird.
- Eingreifen: das System stoppen, eine Aktion rückgängig machen oder deren Ausführung verhindern.
Qualifikation
Aufsicht erfordert Wissen. Daher verpflichtet dieselbe Verordnung in Artikel 4 Unternehmen dazu, die KI-Kompetenz der Personen zu gewährleisten, die diese Systeme bedienen: Man kann nicht beaufsichtigen, was man nicht versteht.
Bezug zu HITL
Human in the Loop (HITL) ist die praktische Umsetzung: die Freigabe durch eine Person in den Ablauf der wichtigen Aktionen zu integrieren, mit minimalen Berechtigungen und expliziten Grenzen für jeden Agenten. Die Frage, die beides zusammenfasst, ist dieselbe: Wer steuert das System, mit welchen Berechtigungen und mit welchen Grenzen?