Los modelos de lenguaje grande (LLM por sus siglas en inglés) han comenzado a ser una herramienta cada vez más utilizada en diversas tareas relacionadas con la generación y el análisis de textos. Recientemente, se ha realizado un estudio sobre la generación de críticas cinematográficas utilizando estos modelos, en particular el GPT-4o, el Gemini-2.0 y el DeepSeek-V3. Estos modelos fueron evaluados por su capacidad para generar críticas de películas a partir de subtítulos y guiones cinematográficos, y comparados con las críticas escritas por los usuarios de IMDb.
Una de las novedades del estudio fue el uso de subtítulos y guiones como insumo para los modelos, lo que posibilitó observar cómo estos afectan la calidad y fidelidad de las críticas generadas. Se concluyó que a pesar de que los LLM generan textos sintácticamente correctos y estructuralmente completos, existe aún una notable brecha en la riqueza emocional y coherencia estilística en comparación con las opiniones de los usuarios de IMDb. Esta brecha sugiere que los modelos requieren más refinamiento para lograr críticas de mayor calidad y emoción comparable a las humanas.
Para evaluar la autenticidad de las críticas generadas por los LLM y su capacidad para ser distinguidas de las humanas, se realizó un análisis basado en encuestas, en las que los participantes debían distinguir entre críticas generadas por LLM y aquellas escritas por usuarios humanos. De esto, se desprendió que resulta complicado para los humanos diferenciar las críticas generadas por LLM, indicando que los modelos, en ocasiones, producen contenido que se asemeja bastante al humano, especialmente en términos de estructura y consistencia textual.
Sin embargo, se observaron ciertas peculiaridades. DeepSeek-V3 fue identificado como el modelo que generó críticas más equilibradas y cercanas a las de IMDb, mientras que GPT-4o mostraba una tendencia a enfatizar emociones positivas. Por su parte, Gemini-2.0 era mejor capturando emociones negativas, aunque con una intensidad emocional excesiva que podría parecer artificial o exagerada.
Finalmente, este estudio no solo destaca el potencial de los modelos LLM para tareas de generación de texto, sino también las áreas donde continúa habiendo desafíos, particularmente en la expresión emocional rica y la coherencia estilística. Esta investigación abre las puertas para futuras mejoras en la tecnología de LLM para aumentar su capacidad de producción de contenido relevantemente humano.
En conclusión, aunque los modelos de lenguaje grande han avanzado considerablemente en la generación de texto, todavía tienen camino por recorrer en la reproducción fiel de la compleja emotividad y estilo humano que poseen las críticas auténticas, indicando un campo fértil para mejorías tecnológicas futuras.