En un paso significativo hacia la mejora de los informes radiológicos generados automáticamente por inteligencia artificial (IA), un grupo de investigadores ha desarrollado un examinador basado en imágenes para distinguir entre afirmaciones reales y falsas en los informes generados por IA, valiéndose especialmente de radiografías de tórax. Esta tecnología innovadora tiene como objetivo resolver uno de los desafíos más apremiantes que enfrenta la IA en el campo de la radiología: la generación de oraciones falsas provocadas por las alucinaciones del lenguaje de la IA. El problema surge cuando estos informes generados automáticamente comunican información incorrecta que no representa lo que realmente se observa en las imágenes radiológicas.
Los investigadores proponen un modelo de examinador que, al ser entrenado con un conjunto de datos cuidadosamente curado de informes falsos y reales, se especializa en asociar una imagen con las oraciones correspondientes en el informe. Para ello, procedieron a crear un nuevo conjunto de datos de informes falsos alterando artificialmente los hallazgos en informes verdaderos y verificando estos a través de un proceso de codificación de texto e imágenes. Mediante el uso del modelo CLIP, tanto las oraciones textuales como las imágenes se proyectan en un espacio de incrustación conjunto, lo que permite al examinador identificar y eliminar las oraciones falsas del informe final.
El modelo de clasificación binaria desarrollado fue entrenado en un conjunto de datos de 20,326 pares de imagen-oración que permitieron al examinador alcanzar un 84 % de precisión, un despliegue prometedor para su potencial aplicación en la corrección de informes generados automáticamente. La eficacia del examinador fue verificada posteriormente mediante su aplicación en dos conjuntos de datos diferentes: uno sintético y otro derivado de informes generados por algoritmos ya publicados. En ambos casos, la tecnología evidenció mejoras significativas en la exactitud y calidad de los informes, subrayando una mejora del 16 % en la corrección del contenido automático erróneo.
Los autores plantean que esta aproximación de verificación de hechos podría integrarse con futuras tecnologías de IA para informes radiológicos, con el fin de aumentar la precisión y confiabilidad de los mismos. El éxito de este examen de verificación de hechos con imágenes abre un camino hacia aplicaciones más robustas de informes automáticos en radiología, minimizando la carga de trabajo de los expertos humanos y fortaleciendo la confianza en la fiabilidad de las tecnologías automatizadas en la medicina.
En conclusión, el desarrollo y aplicación de métodos de verificación impulsados por imágenes representan un avance crucial en el campo de la IA en radiología, permitiendo una integración más segura y efectiva de estas tecnologías en entornos médicos reales.