En mayo de 2025, un grupo de investigadores europeos publicó un estudio sobre la detección de sesgos en algoritmos de perfilado de riesgos en el sector público holandés. Dicho estudio auditó un algoritmo implementado por la Agencia Ejecutiva para la Educación de los Países Bajos (DUO) para asignar puntuaciones de riesgo a estudiantes universitarios entre 2012 y 2023. A través de una herramienta de detección de sesgos no supervisada, se analizaron más de 250,000 registros de estudiantes a nivel nacional.

Según el informe, este algoritmo, basado en reglas aparentemente neutrales como el tipo de educación y la distancia entre el estudiante y sus padres, discriminó indirectamente a estudiantes con antecedentes migratorios no europeos durante más de una década. Este sesgo no fue detectado hasta mucho después debido, en parte, a que las entidades carecen de datos demográficos detallados por restricciones de privacidad.

En respuesta, el gobierno holandés, mediante su Ministro de Educación, Cultura y Ciencia, ofreció disculpas y estableció un plan de compensación de 61 millones de euros para los estudiantes afectados. Este caso pone de manifiesto que no solo los métodos complejos de aprendizaje automático pueden adolecer de sesgos, sino también los algoritmos basados en reglas simples.

El estudio subraya la importancia de diseñar algoritmos responsables, señalando que este tipo de perfilado de riesgos ya está prohibido por regulaciones europeas como el GDPR y la Carta de los Derechos Fundamentales de la UE. A pesar de esto, la falta de control efectivo perpetúa el uso desinformado de tales sistemas en la toma de decisiones críticas.

Además, la investigación destaca el potencial de las herramientas de aprendizaje no supervisado, que a pesar de no contar con datos demográficos descriptivos, logran identificar agrupaciones que suelen coincidir con grupos demográficos tradicionalmente desfavorecidos. Esto supone un paso crucial hacia la evaluación deliberativa de posibles discriminaciones en procesos de decisión respaldados por algoritmos.

El impacto de estos hallazgos resalta una necesaria reflexión: las decisiones automatizadas en educación y otros sectores de alto riesgo deben ser auditadas continuamente. Así se garantiza que los sistemas no solo amplifican, sino que también corrigen las desigualdades sociales. Es crucial que implementadores y reguladores trabajen juntos para instaurar prácticas de auditoría que detecten y prevengan sesgos a tiempo, evitando injusticias como las sufridas por los estudiantes holandeses.

La comunidad científica, por su parte, sigue comprometida en mejorar las herramientas de detección de sesgos, aumentando la consciencia pública sobre la necesidad de un algoritmo justo y transparente, mientras se modela un camino hacia soluciones algoritmicas más equitativas.