La automatización de tareas de software puede ser un desafío, especialmente cuando se trata de interfaces de scripting que permiten ejecutar secuencias de comandos para personalizar y optimizar los flujos de trabajo de las aplicaciones. En un intento por superar las limitaciones de la generación de código en tiempo real y los riesgos asociados, se ha propuesto un marco de simulación offline para curar conjuntos de habilidades específicas de software, implementando el uso de Modelos de Lenguaje Grande (LLMs) combinados con guías de scripting disponibles públicamente.
Este enfoque innovador se centra en generar un conjunto de guiones verificados a través de dos componentes principales: (1) creación de tareas, que utiliza guías funcionales de arriba hacia abajo y una exploración sinérgica de API de abajo hacia arriba para generar tareas útiles, y (2) generación de habilidades con ensayos, donde los guiones se refinan y validan basándose en la retroalimentación de la ejecución.
Para realizar esta tarea, se ha implementado un modelo de predicción basado en redes neuronales gráficas (GNN), que detecta la sinergia entre APIs al agrupar patrones semánticos y estructurales. Esto permite generar habilidades que explotan APIs infrautilizadas, ampliando la diversidad del conjunto de habilidades. Las pruebas realizadas con Adobe Illustrator demuestran que este marco mejora significativamente las tasas de éxito de automatización y reduce los tiempos de respuesta en comparación con las metodologías tradicionales de generación de código en tiempo real.
Al contrastar este método con las soluciones de generación de código durante la ejecución, se observan limitaciones notables, tales como un código generado no verificado que puede no alinearse con las intenciones del usuario y el potencial de introducir riesgos de seguridad.
La innovación radica en el uso de una simulación offline para crear un conjunto de scripts específicos de software y alinearlos con las necesidades de los usuarios en dominios de software especializados. Este enfoque destaca las ventajas de obtener retroalimentación directa de la ejecución en un entorno controlado y ofrece valiosas perspectivas para alinear las capacidades de la inteligencia artificial con las necesidades de los usuarios específicos de software.