Algorithmische Verzerrung tritt auf, wenn ein System der künstlichen Intelligenz Vorurteile lernt, reproduziert oder sogar verstärkt, die in den Daten enthalten sind, mit denen es trainiert wurde. Da Modelle aus historischen Beispielen lernen, neigt das System dazu, soziale Ungleichheiten oder Stereotypen in seinen Vorhersagen und Entscheidungen zu perpetuieren, wenn diese Daten solche widerspiegeln – oft unsichtbar für die nutzende Person.
Dies ist von Bedeutung, da diese Systeme in sensiblen Bereichen eingesetzt werden, in denen eine ungerechte Entscheidung reale Konsequenzen hat. Einige gängige Beispiele:
- Personalauswahl, die bestimmte Profile aufgrund des Geschlechts oder des Alters benachteiligt.
- Kreditvergabe, die nach Postleitzahl oder ethnischer Herkunft diskriminiert.
- Gesichtserkennung mit höheren Fehlerraten bei dunkleren Hauttönen.
Eine wichtige Nuance besteht darin, dass Verzerrungen nicht immer aus den Daten resultieren: Sie können auch durch das Modelldesign, die Auswahl der Variablen oder die Interpretation der Ergebnisse entstehen. Daher erfordert deren Minderung Audits, repräsentative Daten und eine kontinuierliche menschliche Aufsicht, nicht nur punktuelle technische Anpassungen.