Investigadores han analizado la complejidad del diseño de prompts en los Modelos de Lenguaje de Gran Escala (LLMs) revelando su impacto sobre el razonamiento. Pese a su éxito en diversas tareas de procesamiento de lenguaje, estos modelos enfrentan limitaciones en razonamiento complejo. Desarrollaron el CoT (Chain of Thought) como alternativa, permitiendo que los modelos superen sus limitaciones al desglosar procesos de razonamiento en etapas comprensibles para el mismo modelo. Sin embargo, muchas soluciones basadas en CoT no se adaptan específicamente a la tarea en cuestión.

El problema radica en que dichas soluciones usan un prompt genérico enfrentándose a un vasto espacio de búsqueda de prompts. Alternativas más efectivas, aunque menos usadas, implican diseños de prompts específicos para cada tarea. Plantearon que cada prompt por sí mismo define una trayectoria única en el espacio de respuestas y que la elección de dicha trayectoria resulta crucial para la efectividad en la tarea.

A través de un marco teórico, se concluye que un diseño óptimo de prompts puede mejorar en más de un 50% el rendimiento en las tareas de razonamiento. La dificultad radica en encontrar el diseño óptimo de prompts debido a que muchos están basados en la experiencia empírica en lugar de fundamentos teóricos robustos.

Esta investigación demuestra que los prompts no solo activan el conocimiento en los modelos sino que seleccionan información relevante para resolver tareas específicas de manera más eficaz, revelando principios detrás de los prompts efectivos. Se evidencia la necesidad de realizar una búsqueda del prompt óptimo que guiará mejor a los modelos en sus tareas asignadas.

La conclusión final de este estudio es que un enfoque meticuloso en el diseño de prompts amplía significativamente el rango de tareas y problemas que los Modelos de Lenguaje de Gran Escala pueden abordar de manera satisfactoria, llamando a una atención más detallada en cómo se crean y utilizan estos prompts para mejorar la navegabilidad del espacio de respuesta y, en última instancia, la eficiencia del modelo.