Des algorithmes trop discriminants

Mercredi 10.04.2024

Deux organisations tirent la sonnette d’alarme face aux multiples discriminations que perpétuent les systèmes basés sur des algorithmes ou sur l’intelligence artificielle. Elles appellent au renforcement du droit suisse.

discrimination algorithmes intelligence artificielle dangers reiso 400 © Unsplash / Niklas Hamann

Établir des pronostics, prétrier des dossiers de candidature, générer des images… L’utilisation de l’intelligence artificielle et des algorithmes est devenue aujourd’hui courante dans de nombreux domaines de la société. Mais sans cadre légal strict, qui manque aujourd’hui à la Suisse, celle-ci présente d’importants dangers de discriminations.

Dans plusieurs billets d’information parus récemment, humanrights.ch et AlgorithmWatch.ch pointent du doigt les problématiques engendrées par les systèmes informatisés et appellent, dans une prise de position, la Confédération à légiférer rapidement pour combattre la discrimination algorithmique.

Deux exemples concrets

Les deux organisations thématisent ainsi deux situations concrètes de discriminations liées à l’usage des algorithmes et de l’IA, l’une portant sur les discriminations liées au genre, l’autre sur le racisme dans les procédures de recrutement.

Concernant le genre, trois exemples sont détaillés. Le premier concerne les images stéréotypées générées par l’IA : l’étude d’un échantillon de 5'000 images créées avec un générateur d’images a montré que l’outil « générait presque trois fois plus d’images représentant des hommes que des images représentant des femmes ». En plus, les femmes « étaient associées aux professions ayant une faible rémunération », mais n’apparaissaient quasi jamais dans des images liées à des professions à hautes qualifications.

Par ailleurs, les algorithmes entravent l’accès à l’emploi des femmes : sur Facebook, notamment, « les offres d’emploi sont diffusées auprès des utilisateur·trice·x·s selon des stéréotypes de genre », affirment humanrights.ch et AlgorithmWatch.ch dans leur article. De plus, les CV des femmes sont facilement dévalorisés par des logiciels automatisés de gestion des dossiers de candidatures (lire ci-après). Enfin, un troisième exemple relève le risque que des prestations sociales soient moins souvent accordées aux femmes, en raison d’algorithmes qui prédisent notamment qu’être une mère célibataire est une caractéristique de fraude.

L’utilisation de l’intelligence artificielle présente un risque élevé de perpétuation de la domination masculine

En matière d’emploi, l’utilisation de logiciels de gestion de candidatures, lesquels permettent de gérer la totalité des processus de recrutement de nouveaux et nouvelles collaboratrices, « peut renforcer les stéréotypes discriminatoires ou même en créer de nouveau ». Les organisations rapportent qu’une étude récente menée en Grande-Bretagne a conduit à montrer que les CV envoyés par des personnes du pays étaient valorisés par rapport aux candidatures internationales. Par ailleurs, les personnes qui avaient étudié à l’étranger étaient défavorisées.

Enfin, l’utilisation de l’intelligence artificielle présente un risque élevé de perpétuation de la domination masculine : « Les critères de sélection de nombreux systèmes de recrutement basés sur les algorithmes utilisés par les entreprises sont souvent totalement opaques, écrit humanrights.ch. De même, les jeux de données utilisés pour entraîner les algorithmes d’auto-apprentissage se basent généralement sur des données historiques. Si une entreprise a par exemple jusqu’à présent recruté principalement des hommes blancs âgés de 25 à 30 ans, il se peut que l’algorithme “apprenne” sur cette base que de tels profils doivent également être privilégiés pour les nouveaux postes à pourvoir. Ces stéréotypes et effets discriminatoires ne viennent pas de l’algorithme lui-même, mais découlent de structures ancrées dans notre société ; ils peuvent toutefois être répétés, repris et donc renforcés par l’algorithme. »

(Céline Rochat)

Lire la prise de position

Lire l’article complet : « Discrimination 2.0 : Comment les algorithmes discriminent, et ce que nous devrions faire pour y remédier » (publié le 2 février 2024)

Lire l’article complet : « Discrimination 2.0 : ces algorithmes qui discriminent les femmes » (publié le 8 mars 2024)

Lire l’article complet : « Discrimination 2.0 : ces algorithmes qui perpétuent le racisme » (publié le 21 mars 2024)

Lire également :