Le biais algorithmique survient lorsqu'un système d'intelligence artificielle apprend, reproduit ou même amplifie les préjugés contenus dans les données avec lesquelles il a été entraîné. Comme les modèles apprennent à partir d'exemples historiques, si ces données reflètent des inégalités ou des stéréotypes sociaux, le système aura tendance à les perpétuer dans ses prédictions et ses décisions, souvent de manière invisible pour la personne qui l'utilise.
Cela importe car ces systèmes sont employés dans des domaines sensibles où une décision injuste a des conséquences réelles. Quelques exemples habituels :
- Recrutement de personnel pénalisant certains profils en fonction du genre ou de l'âge.
- Octroi de crédits discriminant selon le code postal ou l'origine ethnique.
- Reconnaissance faciale présentant des taux d'erreur plus élevés sur les peaux foncées.
Une nuance importante est que le biais ne provient pas toujours des données : il peut également être introduit lors de la conception du modèle, dans le choix des variables ou dans la manière dont les résultats sont interprétés. C'est pourquoi l'atténuer exige des audits, des données représentatives et une supervision humaine continue, et non seulement des ajustements techniques ponctuels.