Inteligencia Artificial y Automatización · 2do Semestre

Sesgo Algorítmico y Justicia Social

Análisis de cómo los algoritmos pueden perpetuar discriminaciones y prejuicios sociales.

Acerca de este tema

El sesgo algorítmico ocurre cuando los sistemas de inteligencia artificial reproducen prejuicios sociales a partir de datos de entrenamiento sesgados. En II Medio, los estudiantes analizan cómo algoritmos en reclutamiento, préstamos o redes sociales perpetúan discriminaciones por género, etnia o clase social, conectando esto con la justicia social en Chile. Se exploran casos locales, como sesgos en evaluaciones educativas automatizadas, para entender impactos reales.

Este tema se alinea con las orientaciones curriculares de MINEDUC en OA TEC 2oM: Ética y Responsabilidad Digital, y OA TEC 2oM: Impacto Social de la Tecnología. Responde preguntas clave sobre discriminación en software matemático, responsabilidad de desarrolladores y auditorías para equidad. Fomenta pensamiento crítico que integra programación con ética, preparando a estudiantes para un mundo automatizado.

El aprendizaje activo beneficia este tema porque actividades como debates y simulaciones de auditorías hacen tangibles sesgos invisibles. Los estudiantes colaboran en análisis de datos reales, proponen correcciones y reflexionan en grupo, fortaleciendo empatía y habilidades para intervenir en tecnologías injustas.

Objetivos de Aprendizaje

• Analizar cómo los datos de entrenamiento sesgados influyen en las decisiones de un algoritmo de aprendizaje automático.
• Evaluar el impacto social de algoritmos sesgados en procesos de selección de personal y acceso a créditos en Chile.
• Diseñar propuestas de auditoría para identificar y mitigar sesgos en sistemas de inteligencia artificial.
• Explicar la responsabilidad ética de los desarrolladores de software ante los resultados discriminatorios de sus algoritmos.

Antes de Empezar

Introducción a la Inteligencia Artificial y el Aprendizaje Automático

Por qué: Los estudiantes necesitan una comprensión básica de cómo funcionan los algoritmos de IA y el concepto de aprendizaje a partir de datos para entender el sesgo.

Ética y Ciudadanía Digital

Por qué: Es fundamental que los estudiantes comprendan los conceptos de justicia social, discriminación y responsabilidad para analizar el impacto ético de la tecnología.

Vocabulario Clave

Sesgo algorítmico	Tendencia de un sistema de inteligencia artificial a producir resultados sistemáticamente erróneos o discriminatorios, reflejando prejuicios presentes en los datos con los que fue entrenado.
Datos de entrenamiento	Conjunto de información utilizado para enseñar a un modelo de aprendizaje automático a reconocer patrones y tomar decisiones.
Equidad algorítmica	Principio que busca asegurar que los sistemas algorítmicos traten a todos los grupos de manera justa y no perpetúen ni amplifiquen discriminaciones existentes.
Auditoría de IA	Proceso de revisión sistemática de un sistema de inteligencia artificial para evaluar su rendimiento, seguridad, transparencia y equidad, identificando posibles sesgos.

Ideas de aprendizaje activo

Debate en Parejas: Responsabilidad de Desarrolladores

Asigna a cada pareja un caso real de sesgo algorítmico, como en sistemas de crédito. Una persona defiende al desarrollador, la otra representa a afectados. Rotan roles tras 10 minutos y concluyen con una auditoría propuesta. Comparte conclusiones en plenaria.

⏱ 35 min·Parejas

Generar misión

Análisis Grupal: Auditoría de Algoritmo Simple

En grupos pequeños, proporciona datos sesgados ficticios para un algoritmo de admisión escolar. Identifican sesgos, calculan tasas de aprobación por grupo demográfico y proponen datos correctivos. Presentan hallazgos con gráficos.

⏱ 45 min·Grupos pequeños

Generar misión

Simulación Clase Completa: Impacto Social

La clase rolea un desarrollo de IA: algunos son programadores, otros auditores y afectados. Discuten iterativamente sesgos y soluciones. Vota al final por la propuesta más equitativa.

⏱ 50 min·Toda la clase

Generar misión

Mapeo Individual: Sesgos en Apps Diarias

Cada estudiante lista apps usadas y busca noticias de sesgos en ellas. Anota evidencias y una pregunta de auditoría. Comparte en foro grupal para discusión colectiva.

⏱ 25 min·Individual

Generar misión

Conexiones con el Mundo Real

En Chile, empresas de tecnología y departamentos de recursos humanos utilizan algoritmos para filtrar currículums en procesos de contratación. Un sesgo en estos sistemas podría excluir injustamente a postulantes de ciertos grupos demográficos, afectando su acceso al empleo.

Instituciones financieras, como bancos en Santiago, emplean IA para evaluar solicitudes de crédito. Si el algoritmo está sesgado por datos históricos que reflejan discriminación socioeconómica, podría negar créditos a personas calificadas, limitando su movilidad social y económica.

Cuidado con estas ideas erróneas

Idea errónea común

Los algoritmos son neutrales porque solo usan matemáticas.

Qué enseñar en su lugar

Los sesgos entran por datos de entrenamiento no representativos. Actividades de análisis grupal de datasets ayudan a visualizar desigualdades numéricas y cuestionar supuesta neutralidad mediante comparación de outputs.

Idea errónea común

El sesgo algorítmico solo afecta a grupos minoritarios.

Qué enseñar en su lugar

Impacta a toda sociedad al reforzar desigualdades sistémicas. Debates en parejas revelan cadenas de consecuencias, fomentando empatía y comprensión amplia a través de role-playing.

Idea errónea común

No se puede auditar un algoritmo una vez desplegado.

Qué enseñar en su lugar

Auditorías continuas con pruebas de equidad son posibles. Simulaciones en grupos enseñan pasos prácticos, como métricas de fairness, haciendo el proceso accesible y accionable.

Ideas de Evaluación

Pregunta para Discusión

Presenta a los estudiantes un caso hipotético: un algoritmo de recomendación de universidades que favorece a estudiantes de colegios privados. Pregunta: ¿Qué datos podrían haber causado este sesgo? ¿Qué consecuencias sociales tiene? ¿Cómo podrían los desarrolladores corregirlo?

Boleto de Salida

Pide a los estudiantes que escriban en un papel: 1) Un ejemplo de cómo un algoritmo podría ser discriminatorio en Chile. 2) Una pregunta que harían a un desarrollador de IA para verificar la equidad de su sistema.

Verificación Rápida

Muestra a los estudiantes dos resultados de un mismo algoritmo (ej. predicción de éxito académico) uno aparentemente justo y otro sesgado. Pide que identifiquen cuál podría ser el sesgado y justifiquen su elección basándose en los conceptos de datos de entrenamiento y equidad.

Preguntas frecuentes

¿Qué es el sesgo algorítmico y ejemplos en Chile?

Es la reproducción de prejuicios en IA por datos sesgados. En Chile, ejemplos incluyen algoritmos de puntajes PSU que desfavorecen escuelas rurales o sistemas de vigilancia facial con bajo rendimiento en pieles morenas. Enseñar con casos locales conecta teoría con realidad estudiantil.

¿Cómo auditar un sistema de IA para equidad?

Reúne datasets diversos, mide tasas de error por grupo demográfico y aplica métricas como equalized odds. Pruebas con datos sintéticos y revisión humana detectan sesgos. Involucra equipos multidisciplinarios para perspectivas completas.

¿Cómo usar aprendizaje activo para enseñar sesgo algorítmico?

Usa debates, auditorías simuladas y análisis de datasets en grupos para que estudiantes detecten sesgos hands-on. Estas actividades transforman conceptos abstractos en experiencias colaborativas, fomentando debate ético y propuestas concretas de fairness.

¿Qué responsabilidad tienen los desarrolladores de IA?

Deben auditar datos, documentar decisiones y mitigar sesgos conocidos. En Chile, leyes como la Ley de Transformación Digital exigen responsabilidad. Formación ética en currículos fortalece esta conciencia desde secundaria.