. Los modelos de lenguaje de gran escala (LLMs) han evolucionado significativamente, permitiendo a los usuarios aprovechar sus capacidades para resolver tareas complejas. Sin embargo, la práctica de la “ingeniería de prompts” necesita perfeccionarse, ya que los métodos actuales no se centran en definir claramente los requerimientos de los usuarios, lo cual es crítico para obtener resultados efectivos de los LLMs.
Con el fin de mejorar esta situación, un grupo de investigadores ha desarrollado un enfoque denominado Ingeniera de Prompts Orientada a Requisitos (ROPE, por sus siglas en inglés), que facilita la capacitación de los usuarios para redactar instrucciones efectivas para los LLMs a través de la práctica deliberada y la retroalimentación automatizada.
El estudio involucró un experimento controlado aleatorizado con nuevos usuarios en el que se evaluaron las habilidades para escribir prompts antes y después de recibir el entrenamiento orientado a requisitos. Los resultados mostraron que la formación ROPE mejoró significativamente la calidad de los prompts de los usuarios, en comparación con el entrenamiento de ingeniería de prompts convencional.
El ROPE se implementa a través de un sistema de evaluación y entrenamiento que utiliza modelos generativos de retroalimentación, permitiendo a los usuarios mejorar iterativamente sus instrucciones a los LLMs. Este enfoque busca promover una interacción más efectiva entre humanos y LLMs, proporcionando una estructura clara para mejorar las aplicaciones impulsadas por LLMs.
La práctica con ROPE también identificó una fuerte correlación entre la calidad de los requerimientos y la calidad del output de los LLMs. Es decir, cuanto más claros y completos son los requerimientos especificados por el usuario, mejor es el desempeño del LLM, lo que refuerza la importancia de un buen diseño de requerimientos para obtener resultados deseados.
Un tema importante en la discusión es que, aunque las optimizaciones automáticas pueden ser útiles para ajustar ciertos detalles técnicos de los prompts, no pueden sustituir la especificación clara de requerimientos personalizados, especialmente en tareas complejas que denominamos como “duras para LLMs”.
En conclusión, el entrenamiento en ingeniería de prompts requiere un giro hacia un enfoque más centrado en los requerimientos. Este cambio no solo beneficiará a los usuarios que desarrollan aplicaciones personalizadas, sino que también ayudará a mejorar las capacidades de los modelos a medida que continúan evolucionando hacia una mayor alineación con las intenciones humanas. La mejora en la especificación de requerimientos no caerá solo en manos del software, sino que será una habilidad imprescindible para los humanos en la interacción con tecnologías avanzadas, y el enfoque ROPE es un paso importante hacia esa dirección.