En un esfuerzo por mejorar la forma en que los modelos de lenguaje responden a tareas específicas, un grupo de investigadores de Amazon Web Services ha desarrollado un innovador método de aumento de datos. Este método se centra en la generación de flujos de diálogo diversos a través de modelos de lenguaje de gran escala, también conocidos por sus siglas en inglés como LLM. El objetivo principal es simular trayectorias de diálogo orientadas a tareas, realizando un análisis exhaustivo de diversos caminos de solución representados en árboles de decisión.

Cada flujo de diálogo generado representa un conjunto único de interacciones que permiten a los modelos seguir consistentemente la lógica de la tarea asignada, explorando múltiples cadenas de interacción dentro de un paradigma de planificación predefinido. Los investigadores han explorado este enfoque empleando LLMs para simular flujos de diálogo y han probado el método en un conjunto de datos sintéticos denominado DF LOW. Este conjunto comprende 3,886 flujos de diálogo distintos abarcando 15 dominios diferentes.

Este enfoque no solo intenta aumentar la diversidad de los diálogos, sino que también busca mantener al mismo tiempo una coherencia lógica en las decisiones tomadas a lo largo de la trayectoria del diálogo. Se ha comprobado que los modelos entrenados con el conjunto de datos DF LOW sobrepasan en rendimiento a otros modelos avanzados, incluida la versión más reciente de GPT-4, en la predicción de la siguiente acción de un diálogo.

Para evaluar la efectividad del método, los investigadores realizaron experimentos intrínsecos y extrínsecos. Los resultados indicaron que el nuevo enfoque mejora tanto la capacidad de inferencia como la coherencia de los modelos de lenguaje más modestos, al permitirles superar a modelos más avanzados en escenarios complejos y diversificados de tareas.

Con esta contribución, el equipo de AWS planea liberar el código y datos, permitiendo a la comunidad acceder y potencialmente ampliar este enfoque. Este trabajo representa un paso importante hacia la generación de datos más diversos, mejorando las capacidades de comprensión de los modelos de lenguaje y, eventualmente, fortaleciendo el desarrollo de agentes conversacionales más efectivos.

A modo de conclusión, esta innovadora metodología refleja un avance significativo en el campo de los diálogos automatizados. Al potenciar la diversidad y la lógica de las tareas en los flujos de diálogo, se amplía el espectro de innovación en el diseño y aplicación de agentes conversacionales, facilitando un entorno más robusto y adaptable para futuras innovaciones en tecnología de lenguajes.