Retour à la fiche
Question d'oral
Algorithmes et discriminations : comment un outil “neutre” peut‑il produire des biais ?
Réponse d'oral
Un algorithme apparemment « neutre » peut produire des discriminations parce qu’il apprend à partir de données marquées par les inégalités et applique des critères choisis par des humains. Il ne possède pas de préjugés au sens humain, mais il peut reproduire les nôtres. Si une entreprise a surtout recruté des hommes dans le passé, un outil entraîné sur ses anciens recrutements risque de considérer les candidatures masculines comme préférables. Ces biais historiques transforment alors une habitude injuste en règle automatique.Supprimer le sexe ou l’origine des données ne suffit pas. Le code postal, l’école fréquentée ou les interruptions de carrière peuvent servir d’indices indirects : ce sont des variables de substitution. En 2018, on a ainsi appris qu’Amazon avait abandonné un outil expérimental de recrutement qui défavorisait les candidatures féminines. Ses données d’apprentissage provenaient de CV reçus durant dix ans, majoritairement masculins. Le problème vient aussi de l’objectif fixé : chercher uniquement à réduire un coût peut pénaliser certains groupes, sans que cette conséquence ait été explicitement souhaitée.La neutralité technique ne garantit donc pas l’égalité de traitement. Pour limiter ces risques, il faut examiner les données, comparer les résultats selon les groupes et permettre aux personnes concernées de contester une décision. Un contrôle humain reste utile, à condition de ne pas valider automatiquement le résultat de la machine. La responsabilité appartient aux organisations qui conçoivent et utilisent ces outils. Reste une question collective : quelle idée de la justice voulons-nous leur faire appliquer ?
Autres questions
1.Qu’est‑ce qu’un “grand débat contemporain” : quels critères (durée, valeurs, institutions) ?2.Comment cartographier un débat : faits, acteurs, valeurs, droit, économie ?3.Bioéthique : pourquoi la France encadre‑t‑elle par des lois révisables (depuis 1994) ?4.CRISPR‑Cas9 : quels espoirs médicaux, quels risques, et quels scénarios de dérive ?5.Principe de précaution (2005) : comment l’expliquer sans caricature (agir malgré l’incertitude) ?