En el reciente congreso de Inteligencia Artificial celebrado en Atenas, tema de debate ha sido el impacto psicológico al que se enfrentan los miembros de los equipos de “red-teaming” en inteligencia artificial (IA). Estos equipos son fundamentales para asegurar que los modelos de IA no generen contenido dañino. Sin embargo, la adversidad de simular actores malintencionados durante el proceso puede resultar en problemas mentales significativos.
Diferentes investigadores y expertos de instituciones como la Universidad Northwestern y Microsoft sostienen que la interacción repetida con sistemas generativos puede causar lesiones morales, insomnio, y otros problemas psicológicos como el estrés pos-traumático. Además, se ha reportado que el contacto constante con contenido violento o perturbador lleva a un desgaste emocional similar al sufrido por moderadores de contenido en línea, quienes ya fuera del ámbito de IA, han señalado altos niveles de estrés y otros problemas de salud mental.
Durante el evento, se discutieron también estrategias preventivas tomadas de otras industrias para proteger a estos trabajadores. En el ámbito del espectáculo, por ejemplo, los actores comprometidos en roles emocionalmente intensos suelen realizar rutinas de “des-rolamiento”, que podrían trasladarse a los “red-teamers” para proteger su identidad personal y su salud mental. En términos organizativos, se debatió sobre la posibilidad de seguir el modelo de sindicatos que luchan por condiciones laborales más seguras, lo que podría incluir el acceso a mayores beneficios de salud mental.
Además de las condiciones laborales, se analizó el impacto de la naturaleza del trabajo, comparándolo con la labor de fotógrafos de guerra o moderadores de contenido que deben procesar repetidamente imágenes perturbadoras. La repetición continuada e inevitable de interacciones con posibles usos maliciosos requiere un enfoque organizado para evitar consecuencias emocionales desastrosas.
El consenso general fue que, aunque el camino hacia la mitigación de los riesgos está establecido a través de prácticas éticas y soporte institucional, hay una necesidad imperativa de establecer estándares más altos de salud mental para aquellos en la vanguardia de la protección digital con IA. Esto no solo es un deber ético, sino también una estrategia que puede aumentar la eficacia global de estas herramientas de inteligencia artificial al permitir que sus evaluadores humanos trabajen en un entorno seguro y protegido.
Finalmente, se destacó que la verdadera seguridad de la inteligencia artificial debe tener en cuenta la protección del bienestar mental de los red-teamers, pues su labor asegura un uso más seguro y responsable de estos sistemas avanzados.