Algoritminen vinouma syntyy, kun tekoälyjärjestelmä oppii, toistaa tai jopa vahvistaa koulutusdataansa sisältyviä ennakkoluuloja. Koska mallit oppivat historiallisista esimerkeistä, jos nämä tiedot heijastavat yhteiskunnallisia eriarvoisuuksia tai stereotypioita, järjestelmä taipuu ylläpitämään niitä ennusteissaan ja päätöksissään, usein näkymättömästi sen käyttäjälle.
Tällä on merkitystä, koska näitä järjestelmiä käytetään arkaluonteisilla aloilla, joilla epäoikeudenmukainen päätös aiheuttaa todellisia seurauksia. Tavallisia esimerkkejä ovat:
- Henkilöstön valinta, joka asettaa tiettyjä hakijaprofiileja huonompaan asemaan sukupuolen tai iän perusteella.
- Luottojen myöntäminen, joka syrjii postinumeron tai etnisen taustan perusteella.
- Kasvojentunnistus, jonka virhetasot ovat korkeampia tummaihoisilla.
Tärkeä tarkennus on, että vinouma ei aina synny datasta: se voi päästä mukaan myös mallin suunnitteluun, muuttujien valintaan tai tulosten tulkintaan. Sen lieventäminen edellyttääkin auditointeja, edustavaa dataa ja jatkuvaa ihmisen suorittamaa valvontaa, eikä pelkkiä yksittäisiä teknisiä säätöjä.