Retour à la fiche
Question d'oral
Qu'est-ce qu'un biais algorithmique ? Donnez un exemple.
Réponse d'oral
Un biais algorithmique est une tendance d’un système automatisé à produire des résultats qui désavantagent systématiquement certaines personnes ou certains groupes, sans justification pertinente. Il peut apparaître dans le tri des candidatures, l’attribution d’un crédit ou la reconnaissance faciale. Un algorithme ne devient pas neutre simplement parce qu’il utilise des mathématiques : ses résultats dépendent des données d’apprentissage, mais aussi des objectifs et des critères choisis par ses concepteurs.Un exemple concret est celui de l’outil expérimental de recrutement développé par Amazon à partir de 2014, puis abandonné. Il apprenait à évaluer des candidatures à partir de CV reçus durant les dix années précédentes. Or, ces candidatures étaient majoritairement masculines, notamment pour les postes techniques. Le système avait ainsi appris à défavoriser certains indices associés aux femmes, comme la mention d’un club féminin. Il reproduisait donc un déséquilibre passé au lieu de mesurer seulement les compétences. Même supprimer le sexe des candidats ne suffit pas toujours : d’autres informations peuvent servir d’indices indirects.Le problème est que ces discriminations peuvent se répéter à grande échelle tout en paraissant objectives. Pour les limiter, il faut tester les résultats selon les groupes concernés, examiner les données et permettre aux personnes de contester une décision. La question dépasse donc la performance du calcul : quels critères de justice voulons-nous faire respecter aux machines qui participent à nos choix ?