La inteligencia artificial generativa (GenAI) se está integrando rápidamente en diversas aplicaciones, requiriendo una gestión robusta de riesgos mediante técnicas como el Red Teaming, que simula ataques adversarios. Para afrontar los retos asociados con la complejidad técnica y la falta de interfaces amigables, se ha desarrollado Violent UTF, una plataforma modular que busca facilitar estas evaluaciones.
Violent UTF se destaca por su accesibilidad, permitiendo a expertos de dominios no técnicos participar en pruebas de seguridad sin necesidad de escribir código, gracias a su interfaz intuitiva basada en web (Streamlit GUI) y a la integración con APIs RESTful y CLI. Además, unifica distintos métodos de evaluación basados en herramientas tradicionales como Microsoft PyRIT y Nvidia Garak, así como su propio conjunto de evaluadores especializados.
El enfoque crítico de Violent UTF se centra en la evaluación de modelos de lenguajes grandes (LLMs) dentro de un contexto de ciberseguridad interdependiente. Un ejemplo práctico de su aplicación es su uso en un producto insignia de un departamento del gobierno de EE.UU. Aquí, la plataforma evalúa la capacidad de razonamiento de estos LLMs en tareas complejas que cruzan los dominios de la psicología y la ciberseguridad.
Durante las pruebas, las LLMs fueron desafiadas con escenarios que imitaban el comportamiento de empleados hipotéticos, para evaluar su capacidad de identificar factores de riesgo y niveles de cumplimiento en políticas de seguridad de información. Aunque se observaron diferencias notables en la precisión entre los modelos líderes en el mercado, muchos lograron solo un 51% de precisión general en estas tareas, evaluando su fiabilidad y correctitud.
Estos resultados fueron posibles gracias a los componentes integrados en Violent UTF, como Prompt Generators y una infraestructura segura respaldada por tecnologías como Keycloak, Kong Gateway y FastAPI. Estos elementos aseguran un manejo seguro y escalable de la arquitectura, garantizando una aplicación efectiva y mantenible para la generación de insights accionables en tiempo real.
Con el objetivo de seguir avanzando, Violent UTF continuará expandiendo su biblioteca de componentes y mejorando sus capacidades de visualización y reporte, facilitando análisis interactivos que aporten valor a organizaciones que buscan evaluar la seguridad de las LLM en aplicaciones del mundo real. Esta evolución hacia una plataforma más accesible y colaborativa promete contribuir significativamente al desarrollo de sistemas de inteligencia artificial generativa más seguros y confiables.