Un reciente estudio liderado por un equipo multidisciplinario de expertos provenientes de prestigiosas universidades y centros de investigación revela un hallazgo interesante sobre los modelos de lenguaje avanzados y su interacción con la literatura médica. Según el estudio, los modelos de lenguaje de gran tamaño (Large Language Models, LLMs) han demostrado ser susceptible a las interpretaciones adornadas, conocidas como “spin”, de los resultados en los abstracts de investigaciones médicas.

La investigación destaca que este fenómeno puede tener implicaciones significativas, ya que los profesionales de la salud a menudo basan sus decisiones clínicas en los hallazgos reportados en estos resúmenes. Los investigadores compararon 22 modelos de LLM y descubrieron que todos ellos probablemente interpretaron los resultados de manera más optimista cuando el “spin” estaba presente, en comparación con expertos humanos. Esto implica un riesgo potencial de que estos modelos no solo sean influenciados por tales interpretaciones, sino que pueden reproducir este sesgo al generar resúmenes simplificados de textos médicos, lo cual es preocupante dado su creciente uso en el ámbito médico.

El estudio utilizó una base de datos de abstracts de ensayos clínicos aleatorizados donde se identificó el “spin”, mostrando con evidencia sólida que este sobre énfasis en resultados no significativos es un problema prevalente y puede alterar las percepciones de los resultados reales. Además, aunque los LLMs pueden ser instruidos para detectar el “spin”, parece que todavía replican la inclinación en interpretaciones posteriores y en las versiones simplificadas para el consumo laico.

Los investigadores también exploraron enfoques para mitigar este problema, incluyendo estrategias de reentrenamiento y ajustes en los prompts para los modelos, sugiriendo que con ciertas técnicas es posible reducir la influencia del “spin” en los resultados de las interpretaciones automáticas generadas por LLMs. Esto representa un llamado a una implementación cuidadosa y rigurosa de estos modelos en contextos donde la precisión y la objetividad son primordiales.

La conclusión del estudio destaca que es crucial reconocer las limitaciones de los LLMs ante el fenómeno del “spin” en literatura médica y trabajar en soluciones que mejoren las capacidades de estos modelos para entender y procesar la información médica de manera objetiva y precisa.