Raphaële Xenidis, professeure adjointe de droit européen, aborde la discrimination algorithmique, un phénomène croissant dans des domaines comme la détection des fraudes, le maintien de l'ordre et les soins de santé. Elle souligne que les algorithmes, souvent présentés comme neutres et objectifs, reflètent en réalité les biais sociétaux existants. Ces biais s'introduisent à plusieurs niveaux : dans les objectifs socio-économiques poursuivis par les algorithmes, dans les données d'apprentissage souvent issues d'une époque pré-algorithmique marquée par la discrimination, et enfin dans l'interprétation des résultats par des individus eux-mêmes sujets à des préjugés. La distinction entre discrimination pré-algorithmique et post-algorithmique est complexe, car les systèmes algorithmiques influencent et sont influencés par nos modes de pensée.
L'un des défis majeurs réside dans la sélection d'une base de référence pour l'équité algorithmique. Si l'on se base sur la représentativité actuelle des données, on risque de perpétuer les discriminations passées. Des mesures comme la discrimination positive, encadrées par le droit européen, sont nécessaires pour corriger ces inégalités. Cependant, la définition même d'équité reste un sujet de débat, certains privilégiant l'égalité des chances tandis que d'autres préconisent une égalité des résultats, au moins provisoirement, pour créer des modèles et encourager les groupes sous-représentés. Ce débat est crucial pour déterminer comment ajuster les algorithmes et nécessite une discussion démocratique et politique.
La question de l'ajustement numérique des algorithmes pour favoriser certains groupes reste complexe. S'il est techniquement possible d'accorder un poids plus important à certains critères, la détermination du degré d'ajustement est une décision politique qui dépend de la vision sociétale de l'équité. Il ne s'agit pas simplement d'une question technique, mais d'un choix de société qui doit être débattu démocratiquement. Une politique holistique est nécessaire pour s'attaquer aux racines des inégalités structurelles, telles que l'écart de rémunération entre les sexes et les obstacles à la participation des femmes au marché du travail.
Enfin, le rôle de l'Europe dans la régulation des algorithmes est mis en avant. L'Union Européenne, à travers des législations comme le Règlement général sur la protection des données (RGPD), le Digital Services Act (DSA) et l'AI Act, vise à harmoniser les législations nationales et à promouvoir une approche centrée sur les droits fondamentaux. Cependant, des défis persistent, notamment en ce qui concerne l'expertise technique nécessaire pour évaluer les algorithmes et l'influence de l'industrie sur le développement des normes techniques. L'optimisme quant à l'adoption de ces régulations par d'autres acteurs majeurs comme les États-Unis et la Chine reste mesuré, compte tenu de leurs contextes politiques et économiques différents.
#### Mots-clés du média `lutte contre la discrimination` `Droit européen et normes techniques` `AI Act et Digital Services Act` `biais algorithmiques et préjugés` `égalité et équité` #### Chapitres du média - **Introduction à la discrimination algorithmique** (85.99 - 151.958): Raphaële Xenidis, professeure assistante de droit européen à Sciences Po, explique ce qu'est la discrimination algorithmique et comment elle se manifeste dans divers domaines tels que la détection des fraudes, le maintien de l'ordre et les soins de santé. Elle souligne que les algorithmes, formés sur des données sociales, reproduisent et amplifient les discriminations existantes dans la société. - (85.99): Les algorithmes sont utilisés dans de nombreux domaines, comme la détection des fraudes, le maintien de l'ordre et le secteur pénal. - (85.99): Les algorithmes se sont avérés discriminatoires. Par exemple, les systèmes de reconnaissance faciale sont biaisés contre les communautés racialisées. Dans le secteur des soins de santé, les algorithmes allouent moins de ressources aux communautés défavorisées ou racialisées. - **Les origines et les mécanismes de la discrimination algorithmique** (152.619 - 289.873): Raphaële Xenidis explique que la discrimination algorithmique est un phénomène socio-technique, les algorithmes reflétant les objectifs et les biais socio-économiques existants. Elle souligne l'importance des données d'entraînement, en utilisant la formule "garbage in, garbage out" pour illustrer comment des données biaisées entraînent des résultats biaisés. L'interprétation des recommandations algorithmiques par les travailleurs sociaux, potentiellement influencée par des stéréotypes, est également abordée. - (152.619): Les algorithmes de reconnaissance faciale sont des systèmes socio-techniques, et non purement techniques, reflétant ainsi les buts socio-économiques et politiques. - (152.619): Ces systèmes sont biaisés car ils servent des objectifs spécifiques et apprennent à partir de données sociales, reproduisant ainsi les biais existants. - (152.619): L'adage "garbage in, garbage out" s'applique : des données biaisées entraînent des résultats biaisés. Par exemple, les systèmes de reconnaissance faciale reconnaissent mieux les visages blancs en raison de la sous-représentation d'autres communautés dans les données d'entraînement. - (152.619): L'interprétation humaine des recommandations algorithmiques peut également être source de biais, car les agents peuvent être influencés par des stéréotypes. - **Comment aborder la discrimination algorithmique ?** (290.633 - 494.535): Sergei Guriev et Raphaële Xenidis discutent des difficultés à séparer les phases pré-algorithmique et post-algorithmique de la discrimination. Elle souligne la complexité du problème, qui implique des questions de représentativité des données, de formation des travailleurs sociaux et de pressions temporelles et sociales influençant la prise de décision. L'accent est mis sur la nécessité d'une approche holistique pour lutter contre la discrimination algorithmique. - (290.633): Deux étapes de discrimination : pré-algorithmique (biais humains) et post-algorithmique (biais dans l'utilisation des algorithmes). - (290.633): Il est difficile de séparer les niveaux pré et post-algorithmiques car ils s'influencent mutuellement. - (290.633): La représentativité des données est une dimension importante à prendre en compte, à l'instar de l'article 10 de l'EU AI Act. - (290.633): D'autres problèmes concernent la formation des travailleurs sociaux, leurs conditions de travail (pression du temps, des médias) et les biais d'automatisation des algorithmes. - **Représentativité des données et action positive** (495.335 - 740.188): Sergei Guriev soulève la question de la représentativité des données dans une société en évolution, en utilisant l'exemple des admissions à l'université. La personne s'interroge sur la pertinence d'utiliser des données historiques potentiellement biaisées. Raphaële Xenidis aborde la notion d'action positive en droit européen et la difficulté de définir un "état des lieux" neutre pour les interventions algorithmiques équitables. Elle plaide pour une obligation positive de prévenir la discrimination future. - (495.335): L'évolution sociétale, bien que positive, pose un défi pour la représentativité des données, notamment dans le contexte des admissions universitaires. - (495.335): L'utilisation croissante d'algorithmes pour traiter les candidatures nécessite de s'assurer que ces algorithmes sont conscients des biais existants dans les données. - (495.335): La représentativité actuelle peut refléter des inégalités passées, ce qui nécessite d'aller au-delà de la simple représentativité pour garantir l'équité. - (495.335): L'action positive est un outil important pour lutter contre la discrimination, mais sa mise en œuvre est complexe et nécessite de définir un terrain neutre pour l'équité algorithmique. - (495.335): Xenidis défend une obligation positive de prévenir la discrimination future, et non seulement de s'abstenir de discriminer. - **Quotas et prise de décision politique** (741.228 - 1003.16): Sergei Guriev et Raphaële Xenidis discutent des quotas et de la difficulté de déterminer les indicateurs quantitatifs et les dimensions à prendre en compte. Xenidis utilise l'exemple des quotas de diversité dans les conseils d'administration des entreprises. La discussion porte sur le rôle des actionnaires, des régulateurs, des partis politiques et des électeurs dans la prise de décision concernant les quotas et la représentation des minorités. - (741.228): Les quotas de diversité sont importants pour remédier aux inégalités, mais soulèvent la question de savoir qui décide des dimensions et des indicateurs. - (741.228): L'exemple des conseils d'administration, où la diversité est encouragée, illustre la difficulté de fixer des quotas (par exemple, 30 % de femmes). - (741.228): Qui décide du pourcentage ou des catégories à inclure dans les quotas (genre binaire, autres minorités) ? - (741.228): Les décisions concernant les quotas de diversité, actuellement prises par des "technologues", devraient être soumises à un examen démocratique et juridique. - (741.228): L'égalité asymétrique, comme l'action positive, nécessite un débat politique et démocratique, ainsi qu'un contrôle judiciaire. - **Ajustement des algorithmes et discrimination positive** (1004.068 - 1102.487): Sergei Guriev interroge Raphaële Xenidis sur la possibilité d'ajuster numériquement les algorithmes pour corriger les biais. Elle utilise l'exemple du recrutement et s'interroge sur la manière de déterminer le degré d'ajustement nécessaire pour une discrimination positive, et souligne que cette décision est politique et dépend de la définition de l'équité, qui ne fait pas consensus. - (1004.068): L'Europe a mis en place le Digital Services Act pour améliorer la transparence des algorithmes. - (1004.068): Les algorithmes sont souvent entraînés à maximiser les profits, mais les régulateurs doivent également protéger le bien commun. - (1004.068): Un algorithme de recrutement formé sur des données historiques peut désavantager les femmes, mais la quantitification d'un ajustement pour corriger les biais est complexe. - **Exemples de discrimination algorithmique et solutions** (1103.648 - 1282.8): Raphaële Xenidis illustre la discrimination algorithmique avec le cas d'Amazon et son prototype de sélection de CV. Elle explique que les tentatives de correction algorithmique se heurtent à des décennies de décisions discriminatoires. La personne souligne l'importance de s'attaquer aux racines du problème, notamment les stéréotypes, et de créer des conditions favorables à un développement équitable de l'IA. Xenidis donne également l'exemple du recrutement de leaders, où les critères de sélection peuvent être biaisés en faveur des hommes. - (1103.648): L'exemple d'Amazon qui a développé un prototype pour filtrer les CV et qui a fini par exclure presque exclusivement les femmes. - (1103.648): Les stéréotypes sur les femmes dans les domaines STEM ont un effet matériel, influençant leurs choix de carrière et les empêchant de travailler dans le développement de l'IA. - (1103.648): Pour corriger la discrimination algorithmique, il faut s'attaquer aux racines du problème, notamment les stéréotypes, et créer des conditions favorables à un développement équitable de l'IA. - (1103.648): L'exemple d'un algorithme de recrutement de leaders, qui risque de favoriser les hommes en raison des stéréotypes associés au leadership. - **Le rôle des modèles et de la discrimination positive** (1283.692 - 1444.724): Sergei Guriev et Raphaële Xenidis discutent du rôle des modèles dans la lutte contre la discrimination et de l'importance de la discrimination positive pour créer ces modèles. Guriev s'interroge sur l'efficacité de l'ajustement numérique des algorithmes pour promouvoir la discrimination positive. Raphaële Xenidis réitère que la question centrale est de savoir qui décide du degré d'ajustement et de la définition de l'équité. - (1283.692): Pour créer des modèles, la discrimination positive via des quotas ou l'ajustement des algorithmes peut être utilisée, mais comment définir l'équité ? - (1283.692): L'absence de consensus politique sur la définition de l'équité rend difficile la mise en œuvre de ces ajustements, pas tant la manière de le mettre en place. - (1283.692): Définir comment ajuster un algorithme revient à se questionner sur la société idéale davantage que sur l'adaptation technologique. - **Vision européenne d'une société équitable** (1445.585 - 1528.01): Sergei Guriev interroge Raphaële Xenidis sur la vision des décideurs politiques européens concernant une société équitable. Elle souligne que la question va au-delà des algorithmes et nécessite une politique holistique pour lutter contre les inégalités structurelles, telles que l'écart de rémunération entre les sexes et les obstacles à la participation des femmes au marché du travail. - (1445.585): Nous avons besoin d'une politique systématique et holistique qui corrige les obstacles à l'échelle européenne. - (1445.585): L'écart de rémunération entre les femmes et les hommes est d'environ 13 % au sein de l'UE en 2024, et les politiques de maternité ne permettent pas aux femmes de participer pleinement au marché du travail comme leurs homologues masculins. - (1445.585): Cela crée et maintient des inégalités structurelles, qui sont parfois difficiles à voir, d'où la nécessité d'adopter une solution politique, car la question est socio-technique. - **Le rôle de l'Europe dans la lutte contre la discrimination** (1528.91 - 1706.848): Sergei Guriev et Raphaële Xenidis discutent du rôle de l'Europe dans la lutte contre la discrimination algorithmique. Elle s'interroge sur la pertinence d'une législation européenne plutôt que nationale et explique que l'Europe a un pouvoir d'harmonisation des législations nationales sur la discrimination et que le marché intérieur européen justifie une législation européenne sur l'IA. - (1528.91): La pénalité de la maternité est un facteur majeur des inégalités salariales entre les genres edt n'est pas suffisamment abordée. - (1528.91): L'Europe travaille sur le Digital Services Act et l'AI Act pour lutter contre les discriminations, mais des lacunes persistent. - (1528.91): Certains États membres vont au-delà des exigences minimales européennes en matière de lutte contre la discrimination. - (1528.91): L'harmonisation européenne est nécessaire pour assurer la fluidité de l'innovation sur le marché intérieur et la qualité de l'import-export. - (1528.91): L'Europe doit investir dans l'examen de la législation sur les droits fondamentaux et son articulation avec l'IA. - **L'influence de l'Europe sur la réglementation mondiale de l'IA** (1707.688 - 1892.79): Sergei Guriev et Raphaële Xenidis discutent de l'influence de la législation européenne sur d'autres pays, en particulier les États-Unis et la Chine. Elle s'interroge sur l'adoption potentielle des réglementations européennes par ces pays, compte tenu de leurs différences en matière de liberté d'expression et de protection de la vie privée et exprime un certain pessimisme, notamment en raison des pressions exercées par l'industrie sur la législation européenne. - (1707.688): Le "Brussels effect", où les réglementations européennes sont adoptées par d'autres pays, est mentionné dans le contexte du RGPD. - (1707.688): L'impact du DSA et de l'AI Act sur la discrimination algorithmique est encore difficile à mesurer, mais plusieurs pays tels que le Chili prennent déjà comme modèle la réglementation européenne. - (1707.688): L'influence de l'industrie sur l'AI Act, notamment en ce qui concerne l'IA générative, est soulevée. Une approche basée sur les dommages et les droits est préconisée par les organisations de la société civile plutôt qu'une approche basée sur les risques. - (1707.688): L'adoption potentielle des réglementations européennes par les États-Unis et la Chine est questionnée, compte tenu de leurs différences en matière de liberté d'expression et de protection de la vie privée. - **Défis et perspectives de la réglementation de l'IA** (1894.199 - 2077.553): Raphaële Xenidis exprime son pessimisme quant à l'efficacité de la réglementation de l'IA, en soulignant les différences entre le Parlement européen et le Conseil des ministres sur la question des droits fondamentaux. Elle s'inquiète de l'influence de l'industrie sur le développement des normes techniques et de la difficulté pour le secteur public d'accéder à l'expertise technique nécessaire. La personne souligne également les différences épistémologiques entre le droit anti-discrimination et les algorithmes. - (1894.199): Le Parlement européen était plus conscient de la problématique des droits et de la protection des droits fondamentaux que le Conseil de l'Union européenne. - (1894.199): Il existe un double langage : le langage du risque ne reflète pas nécessairement les préoccupations de ceux qui travaillent sur la discrimination algorithmique. - (1894.199): Dans quelle mesure ces normes seront-elles susceptibles d'un examen judiciaire significatif par la Cour de justice? - (1894.199): L'industrie domine le processus de traduction des préoccupations juridiques et éthiques en normes techniques. La transposition du droit aux nouveaux développements technologiques pose donc des problèmes non traités par l'AI Act. - (1894.199): Le sujet du droit anti-discrimination (groupe/personne protégée) diffère du sujet algorithmique (corrélations, proxys). --- ### Navigation pour IA - [Index de tous les contenus](https://sources.sciencespo.fr/llms.txt) - [Plan du site (Sitemap)](https://sources.sciencespo.fr/sitemap.xml) - [Retour à l'accueil](https://sources.sciencespo.fr/)