En un intento por desentrañar las capacidades poéticas de los modelos de lenguaje de gran tamaño (LLMs, por sus siglas en inglés) respecto al reconocimiento de formas poéticas, un equipo de investigadores ha desarrollado una tarea orientada a evaluar dichas habilidades lingüísticas. Utilizando un exhaustivo conjunto de datos que incluye más de 4,100 poemas anotados por expertos humanos, los investigadores descubrieron que los modelos LLM de última generación pueden identificar de manera sorprendentemente precisa tanto formas poéticas comunes como poco habituales, entre las que se incluyen los sonetos, las sestinas y los pantoums.
El rendimiento varía con respecto al tipo de forma poética: si bien estos modelos demuestran eficacia con las formas poéticas de estructura fija, como las mencionadas, enfrentan dificultades con aquellas no fijas, especialmente aquellas que se centran en características visuales o de temática. Al minimizar errores, las inconsistencias en el rendimiento se vinculan parcialmente a posibles memorias dentro de los datasets de preentrenamiento o por la presencia explícita de estos poemas en dichos conjuntos de datos. Las pruebas de memorabilidad realizadas arrojaron resultados inconclusos pero señalaron que la memorización puede mejorar el desempeño en la identificación de formas poéticas.
Más allá del desafío técnico, esta investigación resalta la importancia de desarrollar benchmarks confiables, un desafío importante al considerar cómo los poemas se distribuyen en múltiples plataformas digitales, a diferencia de otros textos literarios que aún prevalecen principalmente en formato impreso. Los LLM actuales, como el GPT-4, han mostrado capacidad para identificar formas poéticas complejas mediante un profundo análisis de la métrica, el esquema de rima y la repetición, aunque reconocen los desafíos de abordar tópicos y elementos visuales.
Bajo la luz de estos hallazgos, los autores han hecho público un conjunto de datos para evaluación que incluye 1,400 poemas del dominio público, completados con anotaciones formales de los mismos, resultados de experimentos de memorización y auditorías de datos. Esta colección sirve como una base importante para auditorías adicionales y para la mejora continua de sistemas de procesamiento de lenguaje natural.
Concluimos que, pese a que los LLM revelan promesas significativas para el análisis de formas poéticas, el trayecto a una comprensión integral de la poesía y su generación automatizada sigue cargado de desafíos lingüísticos y culturales que requieren investigaciones adicionales y metodologías criticas más profundas.