Un nuevo estudio liderado por el Vector Institute ha congregado una vasta colección de datasets relacionados con la detección de desinformación, aportando una visión más profunda sobre la calidad de la información disponible y los desafíos que enfrentan los investigadores en la evaluación de la misma. Esta investigación ha curado 75 conjuntos de datos, el triple de los mencionados en estudios previos, e incluye 36 datasets que aseveran la verdad sobre alguna afirmación, analizando su calidad con un enfoque sistemático.
Se identificó que muchos de estos datasets tienen problemas de ambigüedad, lo que impide establecer con certeza la veracidad de las afirmaciones contenidas. Especialmente preocupantes son las correlaciones espurias, tanto las basadas en palabras clave como las temporales, que podrían conducir a la obtención de resultados no generalizables. Estos problemas afectan el desempeño de los modelos de detección de desinformación, que tienden a predecir basados en señales inválidas.
Otra cuestión crucial identificada en el estudio es la factibilidad de evaluación de las afirmaciones. La mayoría de los datasets no cuentan con suficiente información para verificar la veracidad de sus afirmaciones sin el uso de un sistema de recuperación de evidencia, lo cual es un reto para los algoritmos de verificación automática. Solo un pequeño porcentaje de los datasets mostró una alta factibilidad, incluso con el apoyo de búsquedas en la web.
El estudio también evalúa mecánicas alternativas para mejorar las prácticas currentes. Destaca el uso de métricas de evaluación avanzadas que superan los enfoques estándar y que ofrecen un panorama más claro y detallado sobre la calidad de la información evaluada. Además, proponen un nuevo enfoque metodológico que engloba el análisis de correlaciones espurias y la factibilidad de evaluación, proporcionando herramientas prácticas que dirigen a los investigadores hacia conjuntos de datos más confiables.
La introducción de este estudio subraya la importancia de adoptar una Evaluación de Calidad de Evaluación (EQA, por sus siglas en inglés) como herramienta fundamental para asegurar que los métodos y datos sometidos a prueba sean lo suficientemente robustos para las evaluaciones de veracidad y generalización de los modelos. Sin embargo, el informe reconoce que, para mejorar el campo de la desinformación, se requiere una mejor atención a las características de calidad tanto de los datos como de los procesos de evaluación.
Conclusión
El trabajo realizado por el Vector Institute marca un hito al proporcionar un marco más concreto y bien fundamentado para la selección y uso de datasets en la detección de desinformación. Esto no solo resalta la necesidad de un enfoque más crítico y estructurado en las investigaciones futuras, sino que también proporciona un camino hacia evaluaciones más precisas y confiables en la lucha contra la desinformación. Este estudio invita a investigadores y profesionales a adoptar estándares más altos en la recopilación y evaluación de datos, para asegurar que las conclusiones obtenidas tengan un impacto real y positivo en la sociedad.