Éthique des données et biais algorithmiques

Ce sujet complexe demande aux élèves de passer du discours abstrait à une réflexion concrète et critique. Les activités proposées leur permettent de manipuler eux-mêmes les données et les algorithmes, ce qui rend tangibles des concepts souvent perçus comme abstraits ou lointains.

• Seconde
• SNT : Culture et Citoyenneté Numérique
• 4 activités
• 25 min–50 min

Objectifs d’apprentissage

1. Analyser comment les données d'entraînement peuvent introduire des biais dans un algorithme de recrutement.
2. Évaluer les conséquences sociales d'un algorithme de reconnaissance faciale moins performant sur certains groupes démographiques.
3. Expliquer le rôle des concepteurs et des utilisateurs dans la garantie de l'équité des systèmes algorithmiques.
4. Comparer les critères de sélection potentiels d'un algorithme (comme Parcoursup) et identifier les risques de reproduction des inégalités.
5. Critiquer la neutralité supposée d'un algorithme en identifiant ses sources de biais potentielles.

Débat formel

⏱ 50 min·Petits groupes

Débat formel: Qui est responsable quand l'algorithme se trompe ?

Les élèves sont répartis en groupes représentant différents acteurs (développeurs, utilisateurs, régulateurs, victimes). Chaque groupe prépare ses arguments sur un cas concret (erreur d'un algorithme de recrutement ou de justice prédictive). Le débat est structuré avec un temps de parole et un médiateur.

Préparation et détails

Comment les biais peuvent-ils s'introduire dans un algorithme, et quelles en sont les conséquences pour les personnes affectées ?

Conseil de facilitation: Lors de la simulation de construction d'un algorithme biaisé, insistez sur le fait que chaque choix de variable ou de seuil est un acte pédagogique plutôt qu'une contrainte technique.

Setup: Deux équipes face à face, le reste de la classe en position d'auditoire

Materials: Fiche de sujet de débat, Dossier documentaire pour chaque camp, Grille d'évaluation pour le public, Chronomètre

• Analyser
• Évaluer
• Créer
• Autogestion
• Prise de décision

Jeu de simulation

⏱ 45 min·Petits groupes

Jeu de simulation: Construire un algorithme biaisé malgré soi

Les élèves reçoivent un jeu de données historiques (par exemple, admissions universitaires) et doivent concevoir un algorithme de sélection. Ils découvrent ensuite que les données historiques contiennent des biais structurels qui se reproduisent dans leur algorithme.

Préparation et détails

Dans quelle mesure les systèmes algorithmiques reproduisent-ils, voire amplifient-ils, les inégalités sociales existantes ?

Conseil de facilitation: Pour le débat structuré, modélisez les rôles des parties prenantes (développeurs, utilisateurs, régulateurs) à l'aide de cartes distribuées avant l'activité afin d'éviter les généralités.

Setup: Espace modulable avec différents îlots de travail

Materials: Fiches de rôle avec objectifs et ressources, Monnaie fictive ou jetons de jeu, Tableau de suivi des tours

• Appliquer
• Analyser
• Évaluer
• Créer
• Conscience sociale
• Prise de décision

Penser-Partager-Présenter

⏱ 25 min·Binômes

Penser-Partager-Présenter: RGPD et collecte de données

À partir d'un scénario (une application scolaire qui collecte les résultats, la géolocalisation et les habitudes de connexion), chaque élève identifie les données problématiques. En binôme, ils confrontent leurs analyses puis proposent à la classe des règles de collecte éthique.

Préparation et détails

Qui est responsable de garantir l'équité dans les systèmes automatisés de traitement des données ?

Conseil de facilitation: Dans l'étude de cas Parcoursup, fournissez aux élèves des extraits réels de documentation (sans données personnelles) pour ancrer leur analyse dans le contexte français qu'ils connaissent.

Setup: Disposition de classe standard ; les élèves se tournent vers leur voisin

Materials: Consigne de discussion (projetée ou distribuée), Optionnel : fiche de prise de notes pour les binômes

• Comprendre
• Appliquer
• Analyser
• Conscience de soi
• Compétences relationnelles

Étude de cas

⏱ 40 min·Individuel

Étude de cas: Parcoursup sous la loupe

Les élèves analysent le fonctionnement déclaré de Parcoursup (critères, pondérations, quotas boursiers) et identifient les points de tension éthiques. Ils rédigent individuellement une note argumentée proposant une amélioration concrète de l'algorithme.

Préparation et détails

Comment les biais peuvent-ils s'introduire dans un algorithme, et quelles en sont les conséquences pour les personnes affectées ?

Conseil de facilitation: Pour l'atelier Think-Pair-Share sur le RGPD, utilisez un exemple de formulaire en ligne que les élèves peuvent analyser immédiatement pour identifier les collectes de données implicites.

Setup: Groupes de travail en îlots avec dossiers documentaires

Materials: Dossier d'étude de cas (3 à 5 pages), Grille d'analyse méthodologique, Support de présentation des conclusions

• Analyser
• Évaluer
• Créer
• Prise de décision
• Autogestion

Enseigner ce sujet

Les enseignants expérimentés savent que les élèves ont plus de facilité à critiquer un algorithme après l'avoir conçu eux-mêmes. Cette approche par l'erreur intentionnelle crée un terrain fertile pour la critique constructive. Il est crucial de ne pas présenter ces sujets comme une liste de problèmes à dénoncer, mais comme un champ d'investigation où chaque acteur a un rôle à jouer. Les recherches en sciences de l'éducation montrent que les débats éthiques gagnent en profondeur quand ils s'appuient sur des cas concrets.

À quoi s’attendre

Des élèves engagés dans ces activités développeront une vigilance active face aux biais algorithmiques. Ils sauront identifier des situations concrètes où la neutralité algorithmique est mise en question et proposeront des pistes pour réduire ces biais dans des contextes variés.

Attention à ces idées reçues

Idée reçue courante

During la simulation Construire un algorithme biaisé malgré soi, les élèves pourraient penser : 'Un algorithme est objectif par nature puisqu'il s'appuie sur des mathématiques.'

Ce qu'il faut enseigner à la place

Pendant cette simulation, demandez aux élèves de noter chaque choix qu'ils font (variables sélectionnées, seuils choisis, données ignorées) et de discuter en groupe comment ces choix reflètent des valeurs humaines plutôt que des mathématiques neutres.

Idée reçue courante

During l'étude de cas Parcoursup sous la loupe, certaines personnes pensent : 'Les biais algorithmiques ne concernent que les grandes entreprises américaines.'

Ce qu'il faut enseigner à la place

Dans cette étude de cas, fournissez aux élèves des rapports publics sur les biais dans Parcoursup (ex: inégalités territoriales, effets des lycées d'origine) pour leur montrer que ces questions se posent aussi dans des systèmes français bien connus d'eux.

Idée reçue courante

During la simulation Construire un algorithme biaisé malgré soi, les élèves pourraient croire : 'Il suffit de supprimer les variables sensibles (genre, origine) pour éliminer les biais.'

Ce qu'il faut enseigner à la place

Lors de cette simulation, demandez aux élèves de tester leur algorithme avec et sans ces variables, puis de découvrir comment d'autres variables (ex: code postal, prénom) peuvent servir de proxys et reproduire les mêmes discriminations.

Idées d'évaluation

Question de discussion

Après la simulation Construire un algorithme biaisé malgré soi, présentez aux élèves un scénario fictif : un algorithme utilisé par une mairie pour attribuer des places en crèche semble favoriser les familles résidant dans certains quartiers. Demandez-leur : 'Quelles questions devriez-vous poser pour comprendre si cet algorithme est biaisé ? Qui devrait être responsable de vérifier son équité ?'

Vérification rapide

Pendant l'atelier Think-Pair-Share sur le RGPD, fournissez aux élèves une courte description d'un algorithme (ex: un algorithme de recommandation de films). Demandez-leur d'identifier deux types de biais potentiels qui pourraient s'y introduire (ex: biais de popularité, biais de confirmation) et d'expliquer brièvement pourquoi.

Billet de sortie

Après l'étude de cas Parcoursup sous la loupe, demandez aux élèves d'écrire sur un post-it une situation concrète où un algorithme pourrait avoir un impact négatif sur une personne. Ils doivent ensuite proposer une action simple qu'un développeur pourrait entreprendre pour tenter de réduire le biais dans ce cas précis.

Extensions et étayage

• Challenge : Demandez aux élèves rapides de concevoir un algorithme de recommandation de musique et d'identifier trois biais potentiels, puis de proposer une méthode pour les mitiger.
• Scaffolding : Pour les élèves en difficulté, fournissez un jeu de données simplifié avec seulement deux variables et guidez-les pas à pas dans l'identification des corrélations.
• Deeper exploration : Proposez aux élèves de comparer les politiques de transparence de trois plateformes françaises (ex: Banque, Assurance, Recrutement) concernant leurs algorithmes de scoring.

Vocabulaire clé

Biais algorithmique	Tendance systématique d'un algorithme à produire des résultats injustes ou discriminatoires, souvent due à des données d'entraînement reflétant des préjugés existants.
Données d'entraînement	Ensemble de données utilisé pour apprendre à un algorithme à reconnaître des motifs, à faire des prédictions ou à prendre des décisions. La qualité et la représentativité de ces données sont cruciales.
Équité algorithmique	Principe visant à assurer que les décisions prises par les algorithmes ne désavantagent pas injustement certains individus ou groupes, en minimisant les biais.
Transparence algorithmique	Degré auquel les processus de décision d'un algorithme sont compréhensibles par les humains. Elle est essentielle pour identifier et corriger les biais.
Responsabilité (en IA)	Question de savoir qui est tenu de répondre des conséquences d'une décision prise par un système automatisé, qu'il s'agisse des développeurs, des déployeurs ou des utilisateurs.