En un reciente estudio, se ha llevado a cabo una evaluación exhaustiva de los modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés) en su capacidad para enfrentar desafíos médicos a múltiples niveles cognitivos. La investigación fue llevada a cabo por un equipo reconocido de investigadores de prominentes universidades e instituciones de China y otros países.
Los LLMs han mostrado un notable avance tecnológico, como se evidencia en diversos exámenes médicos que han alcanzado. Sin embargo, los resultados indicaron una significativa disminución de su rendimiento a medida que la complejidad cognitiva de las tareas aumentaba. Para los niveles más bajos, como el dominio preliminar de conocimientos médicos, los LLMs demostraron ser bastante eficaces.
Utilizando un marco de evaluación inspirado en la Taxonomía de Bloom, los investigadores evaluaron los modelos en tres niveles cognitivos distintos. Este esquema divide las tareas en la comprensión básica de conocimientos, la aplicación comprensiva y la resolución de problemas basada en escenarios. Los modelos evaluados incluyeron a destacados nombres como Llama, Qwen, Gemma, y GPT, entre otros.
A través de dicho análisis, se halló que a pesar de las capacidades demostradas en tareas de conocimiento preliminar, los LLMs mostraron un declive notable en su desempeño al enfrentarse con problemas más complejos que simulan escenarios médicos reales, una tendencia que persiste al intercalar diferentes familias de modelos.
El estudio también destacó la relevancia del tamaño de los modelos, indicando que los LLMs de mayor tamaño tienden a desempeñarse mejor, particularmente en tareas que requieren una solución de problemas más vasta y comprensiva. Este hallazgo proporciona una guía clara para futuros desarrollos en la mejora de las capacidades médicas de los LLMs a niveles cognitivos más altos.
En conclusión, aunque los modelos de lenguaje de gran tamaño han avanzado significativamente, queda claro que existe una brecha en su capacidad para replicar la resolución compleja de problemas al nivel del juicio clínico humano. Los esfuerzos futuros en investigación deberían enfocarse en cerrar esta brecha para realizar un uso efectivo de los LLMs en aplicaciones médicas reales. La investigación abre la puerta a seguir desarrollando la integración de IA en el campo de la medicina, nutriéndose de estas evaluaciones para ampliar su aplicabilidad en situaciones del mundo real.