Technologie · Seconde · Les Données Structurées et leur Traitement · 2e Trimestre

Éthique des données et biais algorithmiques

Les élèves examinent les implications éthiques de la collecte et du traitement des données, y compris les biais.

• Programmes Officiels
• MEN: Lycee - Impacts sociaux
• MEN: Lycee - Impacts des algorithmes

À propos de ce thème

Les algorithmes ne sont pas neutres : ils reflètent les choix, les données et parfois les préjugés de leurs concepteurs. Ce sujet amène les élèves à examiner comment les biais statistiques et sociaux s'infiltrent dans les systèmes automatisés, depuis les données d'entraînement jusqu'aux décisions qu'ils produisent. En classe de Seconde, cette réflexion est ancrée dans le programme de SNT qui demande explicitement d'aborder les impacts sociaux du numérique.

Les cas concrets abondent : algorithmes de recrutement défavorisant certains profils, systèmes de reconnaissance faciale moins performants sur les peaux foncées, Parcoursup et ses critères opaques. Ces exemples français et internationaux permettent aux élèves de mesurer les conséquences réelles de choix techniques apparemment abstraits.

L'apprentissage actif est indispensable sur ce sujet car il mobilise le jugement moral et l'argumentation. Débattre d'un cas réel, analyser un jeu de données biaisé ou simuler un algorithme de tri oblige les élèves à se confronter à la complexité éthique, ce qu'aucun cours magistral ne peut provoquer.

Questions clés

1. Comment les biais peuvent-ils s'introduire dans un algorithme, et quelles en sont les conséquences pour les personnes affectées ?
2. Dans quelle mesure les systèmes algorithmiques reproduisent-ils, voire amplifient-ils, les inégalités sociales existantes ?
3. Qui est responsable de garantir l'équité dans les systèmes automatisés de traitement des données ?

Objectifs d'apprentissage

• Analyser comment les données d'entraînement peuvent introduire des biais dans un algorithme de recrutement.
• Évaluer les conséquences sociales d'un algorithme de reconnaissance faciale moins performant sur certains groupes démographiques.
• Expliquer le rôle des concepteurs et des utilisateurs dans la garantie de l'équité des systèmes algorithmiques.
• Comparer les critères de sélection potentiels d'un algorithme (comme Parcoursup) et identifier les risques de reproduction des inégalités.
• Critiquer la neutralité supposée d'un algorithme en identifiant ses sources de biais potentielles.

Avant de commencer

Introduction aux algorithmes et à la programmation

Pourquoi : Les élèves doivent avoir une compréhension de base de ce qu'est un algorithme et comment il fonctionne pour saisir comment les biais peuvent s'y intégrer.

Notions de base sur les données et leur collecte

Pourquoi : Il est nécessaire de comprendre comment les données sont collectées pour appréhender comment des biais peuvent être présents dès la source dans les données d'entraînement.

Vocabulaire clé

Biais algorithmique	Tendance systématique d'un algorithme à produire des résultats injustes ou discriminatoires, souvent due à des données d'entraînement reflétant des préjugés existants.
Données d'entraînement	Ensemble de données utilisé pour apprendre à un algorithme à reconnaître des motifs, à faire des prédictions ou à prendre des décisions. La qualité et la représentativité de ces données sont cruciales.
Équité algorithmique	Principe visant à assurer que les décisions prises par les algorithmes ne désavantagent pas injustement certains individus ou groupes, en minimisant les biais.
Transparence algorithmique	Degré auquel les processus de décision d'un algorithme sont compréhensibles par les humains. Elle est essentielle pour identifier et corriger les biais.
Responsabilité (en IA)	Question de savoir qui est tenu de répondre des conséquences d'une décision prise par un système automatisé, qu'il s'agisse des développeurs, des déployeurs ou des utilisateurs.

Attention à ces idées reçues

Idée reçue courante

Un algorithme est objectif par nature puisqu'il s'appuie sur des mathématiques.

Ce qu'il faut enseigner à la place

Les mathématiques sont neutres, mais les données d'entraînement et les critères de conception ne le sont pas. Un algorithme entraîné sur des données historiquement biaisées reproduit ces biais. La simulation en classe (construire puis auditer son propre algorithme) rend cette réalité tangible.

Idée reçue courante

Les biais algorithmiques ne concernent que les grandes entreprises américaines.

Ce qu'il faut enseigner à la place

En France, Parcoursup, les systèmes de scoring bancaire et les outils de police prédictive soulèvent les mêmes questions. L'étude de cas locaux permet aux élèves de se sentir directement concernés et de mobiliser leur connaissance du contexte français.

Idée reçue courante

Il suffit de supprimer les variables sensibles (genre, origine) pour éliminer les biais.

Ce qu'il faut enseigner à la place

D'autres variables corrélées (code postal, prénom, école fréquentée) peuvent servir de proxy et reproduire les mêmes discriminations. Le travail sur des jeux de données réels permet de découvrir ces corrélations cachées par l'exploration.

Idées d'apprentissage actif

Débat formel: Qui est responsable quand l'algorithme se trompe ?

Les élèves sont répartis en groupes représentant différents acteurs (développeurs, utilisateurs, régulateurs, victimes). Chaque groupe prépare ses arguments sur un cas concret (erreur d'un algorithme de recrutement ou de justice prédictive). Le débat est structuré avec un temps de parole et un médiateur.

50 min·Petits groupes

Jeu de simulation: Construire un algorithme biaisé malgré soi

Les élèves reçoivent un jeu de données historiques (par exemple, admissions universitaires) et doivent concevoir un algorithme de sélection. Ils découvrent ensuite que les données historiques contiennent des biais structurels qui se reproduisent dans leur algorithme.

45 min·Petits groupes

Penser-Partager-Présenter: RGPD et collecte de données

À partir d'un scénario (une application scolaire qui collecte les résultats, la géolocalisation et les habitudes de connexion), chaque élève identifie les données problématiques. En binôme, ils confrontent leurs analyses puis proposent à la classe des règles de collecte éthique.

25 min·Binômes

Étude de cas: Parcoursup sous la loupe

Les élèves analysent le fonctionnement déclaré de Parcoursup (critères, pondérations, quotas boursiers) et identifient les points de tension éthiques. Ils rédigent individuellement une note argumentée proposant une amélioration concrète de l'algorithme.

40 min·Individuel

Liens avec le monde réel

• Les plateformes de recrutement en ligne utilisent des algorithmes pour trier les candidatures. Des entreprises comme Adecco ou Randstad doivent s'assurer que ces outils ne discriminent pas les candidats en fonction de leur genre, de leur origine ou de leur âge, en analysant les données historiques de succès des employés.
• Les systèmes de modération de contenu sur des réseaux sociaux comme TikTok ou X (anciennement Twitter) emploient des algorithmes pour détecter les discours haineux ou la désinformation. Ces algorithmes peuvent parfois mal interpréter certains contenus culturels ou linguistiques, menant à des suppressions injustifiées ou à des signalements erronés.
• Les applications de notation de crédit, utilisées par des banques et des organismes financiers, s'appuient sur des algorithmes pour évaluer la solvabilité d'un emprunteur. Ces systèmes peuvent involontairement pénaliser des populations historiquement sous-bancarisées si les données utilisées ne reflètent pas leur situation actuelle ou future.

Idées d'évaluation

Question de discussion

Présentez aux élèves un scénario fictif : un algorithme utilisé par une mairie pour attribuer des places en crèche semble favoriser les familles résidant dans certains quartiers. Demandez-leur : 'Quelles questions devriez-vous poser pour comprendre si cet algorithme est biaisé ? Qui devrait être responsable de vérifier son équité ?'

Vérification rapide

Fournissez aux élèves une courte description d'un algorithme (par exemple, un algorithme de recommandation de films). Demandez-leur d'identifier deux types de biais potentiels qui pourraient s'y introduire (ex: biais de popularité, biais de confirmation) et d'expliquer brièvement pourquoi.

Billet de sortie

Demandez aux élèves d'écrire sur un post-it une situation concrète où un algorithme pourrait avoir un impact négatif sur une personne. Ils doivent ensuite proposer une action simple qu'un développeur pourrait entreprendre pour tenter de réduire le biais dans ce cas précis.

Questions fréquentes

C'est quoi un biais algorithmique ?

C'est une distorsion systématique dans les résultats d'un algorithme, qui favorise ou défavorise un groupe de personnes. Ce biais provient généralement des données utilisées pour entraîner le système ou des choix de conception. En SNT, on étudie des cas concrets pour comprendre comment ces biais naissent et se propagent.

Comment le RGPD protège-t-il contre les décisions algorithmiques abusives ?

Le RGPD (article 22) donne le droit de ne pas être soumis à une décision entièrement automatisée ayant des effets juridiques ou significatifs. Il impose aussi un droit d'explication. En France, la CNIL veille au respect de ces droits et peut sanctionner les organisations en infraction.

Parcoursup est-il un algorithme biaisé ?

Parcoursup utilise des critères académiques et des quotas (boursiers, géographiques) pour classer les candidatures. Les critiques portent sur l'opacité des algorithmes locaux de chaque formation et sur les inégalités liées au lycée d'origine. Le débat reste ouvert et constitue un excellent cas d'étude en SNT.

Pourquoi l'apprentissage actif est-il adapté à l'éthique des données ?

L'éthique ne s'apprend pas par des règles à mémoriser. Elle se construit par le débat, la confrontation de points de vue et l'analyse de dilemmes concrets. Les formats actifs (débats structurés, simulations, études de cas) obligent les élèves à formuler et défendre un jugement argumenté.