Investigación sobre la Compresión de Prompts para Modelos de Lenguaje a Gran Escala
Un estudio reciente, presentado por Zheng Zhang y su equipo, ha revelado nuevas perspectivas sobre cómo la compresión de prompts puede optimizar el funcionamiento de los Modelos de Lenguaje a Gran Escala (LLMs). Estos modelos, utilizados para una amplia gama de tareas lingüísticas, enfrentan costos computacionales considerables debido al uso de prompts largos.
El estudio evaluó la eficacia de seis métodos diferentes de compresión de prompts aplicados a los LLMs. Se analizaron aspectos como el rendimiento de generación, las alucinaciones del modelo, así como su eficacia en tareas multimodales. Los experimentos se llevaron a cabo utilizando tres modelos LLM diferentes en un conjunto de 13 datasets, que incluían artículos científicos, preguntas de sentido común y matemáticas, así como tareas de pregunta-respuesta a contexto largo (Longbench).
Los resultados mostraron que la compresión de prompts tiene un impacto más significativo en el rendimiento de los LLMs en contextos largos, mejorando incluso el rendimiento en ciertas evaluaciones, como la Longbench. Se observó que, aunque todos los métodos de compresión redujeron la longitud de los prompts, dos métodos en particular, LLMLingua y LLMLingua-2, superaron a otros, especialmente a altas tasas de compresión.
Entre los métodos examinados, el enfoque de compresión por omisión de palabras funcionales como “the”, “and”, “is” etcétera, ha sido frecuente. Aunque la eliminación de algunas palabras no afecta significativamente el rendimiento, en contextos largos, ofrecer claridad parece vital. La eliminación inapropiada puede inducir “alucinaciones”, donde el modelo genera información incorrecta o falta de fundamento debido a la pérdida de contexto.
En resumen, este estudio no solo aborda un aspecto crítico de la eficiencia de los LLMs, sino que también proporciona una base para futuras investigaciones sobre la optimización de la ingeniería de prompts sin comprometer la calidad de la salida del modelo.