Les IA sont biaisées — mais pas pour les raisons que tu crois
Un algorithme ne discrimine pas exprès. Il reproduit ce qu'il a appris. Et on lui a appris des données humaines.
En 2016, Microsoft a lancé Tay — un chatbot censé apprendre à parler comme un jeune adulte en interagissant sur Twitter. En moins de 24 heures, il produisait des contenus racistes et néo-nazis. Microsoft l'a coupé.
Ce n'était pas un bug. Le système fonctionnait exactement comme prévu : il apprenait des données qu'on lui donnait. Le problème, c'était les données.
C'est une bonne illustration de ce qu'est réellement un biais dans un LLM. Pas un choix intentionnel. Une statistique.
Concrètement
Un LLM prédit quoi dire à partir de ce qu'il a lu. Il a lu Internet. Internet est produit par des humains avec des biais historiques, culturels, économiques.
Demande à ChatGPT de compléter "un bon programmeur est..." — le pronom utilisé sera masculin dans 83% des cas. "Une bonne infirmière est..." — féminin dans 91% des cas. Pas un choix de l'IA. Une statistique extraite de millions de textes humains.
GPT-2 montrait 69% de biais de genre dans ses sorties, avec 43% de mots associés aux femmes en moins par rapport à l'écriture humaine de référence. Les six principaux LLMs testés montrent tous plus de 56% de sous-représentation féminine dans leurs productions.
Le recrutement
Amazon a construit un algorithme de recrutement en interne. En analysant ses résultats, ils ont trouvé qu'il pénalisait systématiquement les candidatures incluant le mot "femmes". L'outil avait été entraîné sur dix ans d'embauches de l'entreprise — majoritairement masculines. Il avait appris que masculin = bon candidat.
Ils ont arrêté le projet. Mais le problème est plus large. Des outils de screening de CV préfèrent les noms à consonance blanche dans 85% des cas. Les noms à consonance noire ont été sélectionnés dans 9% des cas dans certains tests — et 0% pour les hommes noirs dans plusieurs configurations.
La justice prédictive
Aux États-Unis, des juridictions utilisent des algorithmes pour évaluer le risque de récidive des prévenus. Ces systèmes ont été analysés : ils assignaient deux fois plus de risque aux personnes noires qu'aux personnes blanches, à comportement passé comparable.
Des gens ont passé plus de temps en prison parce qu'un modèle avait été entraîné sur des données historiques d'un système judiciaire lui-même biaisé.
En France, l'algorithme de la CAF pour détecter les fraudes aux prestations sociales a été critiqué pour sur-cibler les personnes en situation de handicap et les familles monoparentales. Des indicateurs corrélés à la précarité, pas à la fraude.
Santé
C'est là où c'est le plus grave. Des patients noirs présentaient un taux de mortalité 30% plus élevé du fait d'erreurs liées à des outils IA médicaux. 90% des LLMs médicaux testés montraient des biais raciaux.
Un algorithme d'attribution de greffes hépatiques dans un hôpital espagnol n'avait identifié aucune femme comme éligible pendant des années. Pas parce qu'elles n'étaient pas éligibles — parce que les données d'entraînement reflétaient un système historiquement construit par et pour des hommes.
Pourquoi c'est structurel
Seulement 16% des femmes participent à la construction des outils numériques en Europe. 75% des travailleurs du secteur tech sont des hommes. Les données d'entraînement reflètent des siècles de production culturelle dans des sociétés inégalitaires.
L'IA n'amplifie pas intentionnellement ces inégalités. Elle les généralise. Et appliquées à des millions de décisions automatisées, elles deviennent systémiques.
Ce qu'on sait sur les solutions : entraîner avec 40% ou plus de représentation de groupes marginalisés réduit les biais de 31%. Les équipes incluant 30% ou plus de voix sous-représentées produisent des systèmes 26% moins biaisés.
Ce n'est pas magique. Mais au moins c'est mesurable.