Investigadores de la Universidad de Cornell han lanzado un estudio que pone a prueba las capacidades de la inteligencia artificial (IA) para identificar y explicar el lenguaje discriminatorio hacia personas con discapacidades en espacios digitales. En su afán por comprender y mitigar la desinformación y el lenguaje dañino, reunieron un valioso conjunto de datos compuesto por 200 comentarios en redes sociales, de los cuales 175 son discriminatorios y 25 no lo son. Han sometido estos comentarios a la evaluación de clasificadores de toxicidad y modelos de lenguaje de última generación como GPT-4, Gemini y Claude, obteniendo resultados reveladores.

La IA mostró discrepancias significativas en la identificación de comentarios discriminatorios en comparación con las evaluaciones de 190 participantes, quienes también evaluaron dichos comentarios. Con la capacidad de moderación actual de la IA, se subestimó la toxicidad en los comentarios discriminatorios, complicando aún más la discusión sobre la moderación automatizada de contenidos y la fiabilidad de estas tecnologías.

Por otra parte, al evaluar las explicaciones de la IA sobre los comentarios discriminatorios, los investigadores detectaron que las respuestas carecían de matices y a menudo utilizaban suposiciones incorrectas, destacando que sus justificaciones parecían condescendientes y no tan educativas como lo serían para las personas con discapacidades afectadas por estas cuestiones. Esto señala una necesidad urgente de integrar perspectivas interseccionales de personas con discapacidades para mejorar el diseño de estos sistemas de clasificación y moderación.

El estudio también destacó que mientras los modelos de lenguaje como GPT-4 habían logrado identificar algunas formas de lenguaje discriminatorio, seguían fallando en proporcionar explicaciones empáticas y educadoras. Los comentarios demostrando sarcasmo e ironía fueron particularmente difíciles de manejar para la IA. A raíz de estos hallazgos, se sugiere la necesidad de contar con un mayor involucramiento de personas con discapacidades en el proceso de diseño y validación de las herramientas de moderación de IA.

Estas revelaciones resaltan las deficiencias actuales de los clasificadores de toxicidad y modelos de lenguaje en su capacidad para abordar efectivamente el sesgo hacia las personas con discapacidades, un reto complejo que la ciencia tecnológica debe considerar si pretende facilitar un entorno digital seguro e inclusivo.

Con el objetivo de avanzar hacia soluciones más efectivas, los expertos sugieren una reelaboración de los modelos existentes y promueven una colaboración más cercana con comunidades de personas con discapacidades, para garantizar una representación auténtica y precisa de sus experiencias. El trabajo futuro, recalcan los investigadores, debe centrarse no solo en la mejora de la detección de contenido dañino sino también en el desarrollo de explicaciones que puedan servir como herramienta educativa para los usuarios.