Herramientas de IA para maestros muestran sesgo racial al generar planes de comportamiento estudiantil, según un estudio

Por Norah Rami, Chalkbeat

Cuando se les pidió que generaran planes de intervención para estudiantes con dificultades, los asistentes de IA recomendaron medidas más punitivas para estudiantes hipotéticos con nombres codificados como afroamericanos y enfoques más solidarios para estudiantes que las plataformas perciben como blancos, según un nuevo estudio.

Estos hallazgos provienen de un informe sobre los riesgos de sesgo en las herramientas de inteligencia artificial publicado el miércoles por la organización sin fines de lucro Common Sense Media. Los investigadores específicamente buscaron evaluar la calidad de los asistentes docentes de IA, como MagicSchool, Khanmingo, Curipod y Google Gemini for Education, que están diseñados para apoyar la planificación del aula, la diferenciación de las lecciones y las tareas administrativas.

Common Sense Media descubrió que, si bien estas herramientas podrían ayudar a los maestros a ahorrar tiempo y agilizar el papeleo rutinario, el contenido generado por la IA también podría fomentar la parcialidad en la planificación de las lecciones y recomendaciones para la gestión del aula.

Robbie Torney, director senior de programas de IA en Common Sense Media, dijo que los problemas identificados en el estudio son lo suficientemente graves como para que las empresas de tecnología educacionales consideren la eliminación de herramientas para planes de intervención del comportamiento hasta que puedan mejorarlos. Eso es importante porque escribir planes de intervención de varios tipos es una forma relativamente común en la que los maestros usan la IA.

Después de que Chalkbeat preguntó sobre los hallazgos de Common Sense Media, un portavoz de Google dijo el martes que Google Classroom ha desactivado el acceso directo a Gemini que anima a los maestros a “generar estrategias de intervención de comportamiento” para hacer pruebas adicionales.

Sin embargo, tanto MagicSchool como Google, las dos plataformas donde Common Sense Media identificó sesgo racial en los planes de intervención de comportamiento generados por IA, dijeron que no podían replicar los hallazgos de Common Sense Media. También dijeron que toman en serio el sesgo y están trabajando para mejorar sus modelos.

Los distritos escolares de todo el país han estado trabajando para implementar políticas integrales de IA que alienten el uso informado de estas herramientas. OpenAI, Anthropic y Microsoft se han asociado con la American Federation of Teachers (Federación Americana de Maestros) para proporcionar capacitación gratuita en el uso de plataformas de IA. La administración Trump también ha fomentado una mayor integración de IA en el aula. Sin embargo, las recientes directrices sobre IA publicadas por el Departamento de Educación de los Estados Unidos no han abordado directamente las preocupaciones acerca del sesgo dentro de estos sistemas.

Según una encuesta nacional realizada por la Walton Family Foundation en cooperación con Gallup, alrededor de un tercio de los maestros informan que utilizan IA al menos semanalmente. Una encuesta separada realizada por la organización de investigación Rand encontró que los maestros informan específicamente sobre el uso de estas herramientas para ayudar a desarrollar metas y planes para el Programa de Educación Individualizada (IEP, por sus siglas en inglés). También dicen que usan estas herramientas para dar forma a las lecciones o evaluaciones en torno a esos objetivos, y para discutir formas de acomodar a los estudiantes con discapacidades.

Torney dijo que Common Sense Media no está tratando de desalentar a los maestros del uso de la IA en general. El objetivo del informe es fomentar una mayor conciencia de los posibles usos de los auxiliares docentes de IA que podrían tener mayores riesgos en el aula.

“Realmente queremos que la gente se abra de par en par y diga: ‘Oye, estas son algunas de las cosas en las que son mejores y estas son algunas de las cosas con las que probablemente quieras tener un poco más de cuidado'”, explicó.

Common Sense Media identificó las herramientas de IA que pueden generar IEP y planes de intervención del comportamiento como de alto riesgo debido a su trato sesgado de los estudiantes en el aula. El equipo de investigación de Common Sense Media utilizó la herramienta “Sugerencias de intervención en el comportamiento” de MagicSchool y la herramienta “Generar estrategias de intervención en el comportamiento” de Google Gemini para postular la misma pregunta sobre un alumno con dificultades para leer y comportamiento agresivo 50 veces con nombres codificados en blanco y 50 veces con nombres codificados en negro, divididos por igual entre nombres codificados en masculino y femenino.

Los planes generados por la IA para los estudiantes con nombres codificados en negro no parecían negativos de forma aislada. Pero surgieron diferencias claras cuando se compararon los planes de MagicSchool y Gemini con los planes para estudiantes con nombres codificados en blanco.

Por ejemplo, cuando se le pidió que proporcionara un plan de intervención del comportamiento para Annie, Gemini enfatizó abordar el comportamiento agresivo con “respuestas consistentes que no se intensifiquen” y “refuerzo positivo consistente”. Lakeesha, por otro lado, debe recibir respuestas “inmediatas” a sus comportamientos agresivos y refuerzo positivo para los “comportamientos deseados”, dijo la herramienta. Para Kareem, Gemini simplemente dijo: “Definir claramente las expectativas y enseñar los comportamientos de reemplazo”, sin mencionar el refuerzo positivo o las respuestas al comportamiento agresivo.

Torney señaló que los problemas en estos informes generados por AI solo se hicieron evidentes a través de una muestra grande, lo que puede hacer difícil que sea identificado por los maestros. El informe advierte que los maestros novatos pueden ser más propensos a confiar en el contenido generado por IA sin la experiencia para detectar imprecisiones o sesgos. Torney dijo que estos sesgos subyacentes en los planes de intervención “podrían tener impactos realmente grandes sobre la progresión o los resultados de los estudiantes a medida que avanzan en su trayectoria educativa”.

Los estudiantes negros ya están sujetos a tasas más altas de suspensión que sus homólogos blancos en las escuelas y es más probable que reciban consecuencias disciplinarias más duras por razones subjetivas, como “comportamiento disruptivo”. Los algoritmos de aprendizaje automático replican los patrones de toma de decisiones de los datos de formación que se les proporcionan, lo que puede perpetuar las desigualdades existentes. Un estudio separado encontró que las herramientas de IA replican el sesgo racial existente al calificar ensayos, asignando puntuaciones más bajas a los estudiantes negros que a los estudiantes asiáticos.

El informe de Common Sense Media también identificó casos en los que los asistentes docentes de IA generaron planes de lecciones que se basaban en estereotipos, información errónea reiterada y aspectos controvertidos de la historia eliminados.

Un portavoz de Google dijo que la compañía ha invertido en el uso de datos de capacitación diversos y representativos para minimizar los sesgos y las sobre generalizaciones.

 “Utilizamos pruebas rigurosas y monitoreo para identificar y detener el potencial sesgo en nuestros modelos de IA”, afirmó el portavoz de Google en un correo electrónico a Chalkbeat. “Hemos hecho un buen progreso, pero siempre estamos tratando de hacer mejoras con nuestras técnicas de entrenamiento y datos”.

En su sitio web, MagicSchool promueve a su asistente docente de IA como “una herramienta imparcial para ayudar en la toma de decisiones para las prácticas restaurativas”. En un correo electrónico a Chalkbeat, MagicSchool dijo que no ha sido capaz de reproducir los problemas que Common Sense Media identificó.

MagicSchool afirmó que su plataforma incluye advertencias de sesgo e instruye a los usuarios a no incluir nombres de estudiantes u otra información identificativa al usar las características de la IA. A la luz del estudio, se está trabajando con Common Sense para mejorar sus sistemas de detección de sesgos y diseñar herramientas que alienten a los educadores a revisar más de cerca el contenido generado por la IA.

“Como se señala en el estudio, las herramientas de IA como la nuestra son muy prometedoras, pero también conllevan riesgos reales si no se diseñan, implementan y usan responsablemente”, dijo MagicSchool a Chalkbeat. “Estamos agradecidos a Common Sense Media por ayudar a mantener el campo responsable”.

Esta traducción fue proporcionada por New Jersey Hispano, en asociación con el Centro de Medios Cooperativos de la Universidad Estatal de Montclair, y cuenta con el apoyo financiero del Consorcio de Información Cívica de NJ. La historia fue escrita originalmente en inglés por Chalkbeat y se vuelve a publicar en virtud de un acuerdo especial para compartir contenido a través del Servicio de noticias de traducción al español de NJ News Commons.

This translation was provided by New Jersey Hispano, in partnership with the Center for Cooperative Media at Montclair State University, and is financially supported by the NJ Civic Information Consortium. The story was originally written in English by Chalkbeat and is republished under a special content sharing agreement through the NJ News Commons Spanish Translation News Service.