Análisis de Seguridad del Código Generado por ChatGPT

En un análisis reciente realizado por investigadores de la Universidad de Napier en Edimburgo, se ha puesto a prueba la capacidad de ChatGPT de OpenAI para generar y analizar código de programación, con resultados que indican tanto promesas como limitaciones.

El estudio evaluó 1.586 fragmentos de código en C, C++, y C# a partir del conjunto de datos DevGPT, detectando problemas de seguridad potenciales en 124 de esos archivos mediante herramientas de escaneo estático. Tras una revisión detallada, se encontraron 32 vulnerabilidades confirmadas en 26 archivos, y ChatGPT logró identificar y proponer soluciones correctas para 18 de estos problemas, resolviendo efectivamente 17 de ellos.

Sin embargo, ChatGPT introdujo 22 nuevas vulnerabilidades, detectando solo 10 problemas introducidos desde el código original de usuarios. Esto sugiere que el modelo tiende a incorporar más problemas de los que inicialmente están presentes, destacando la necesidad de una supervisión manual continua por parte de desarrolladores expertos.

A pesar de las deficiencias observadas, ChatGPT fue capaz de abordar vulnerabilidades comunes como la validación de entradas y la gestión de memoria de manera eficaz en algunos casos. No obstante, el modelo a menudo no logró reconocer problemas como las condiciones de carrera o la inicialización inapropiada de recursos, lo cual es crítico en entornos de producción.

El estudio concluye que, aunque ChatGPT tiene un potencial utilizable como herramienta de apoyo en tareas de programación, no debe considerarse una solución integral y supervisada para el desarrollo seguro de software. La necesidad de revisiones manuales y el uso de escáneres estáticos permanece esencial para garantizar la calidad y seguridad del software producido con la ayuda de la inteligencia artificial.