El equipo de Clarkson University ha trabajado en un estudio que busca mitigar los ataques adversariales dirigidos a clasificadores de imágenes, típicamente utilizados en vehículos autónomos. Estos ataques, que se basan en la alteración imperceptible de imágenes de entrada, han representado un desafío importante para la precisión de clasificaciones realizadas por varios modelos de redes neuronales, incluidos los transformadores de visión (ViT).
Para ello, el estudio ha centrado sus esfuerzos en cómo el uso de la técnica conocida como “Low-Rank Adaptation” (LoRA) puede mejorar la resistencia de los ViT preentrenados. Esta técnica brinda una adaptación analítica al modelo sin necesidad de entrenarlo de nuevo, lo cual permite que los modelos de ViT sean mejorados para resistir estas perturbaciones sin grandes costos de tiempo o recursos.
La investigación usó el “vit-base-patch16-224-in21k” de Google, basado en imágenes de ImageNet-21K, lo que implica cerca de 14 millones de imágenes distribuidas en 21 mil clases. Gracias a LoRA, pudieron añadir la capacidad de clasificación de la clase “stop sign”, utilizando como base 1386 imágenes del conjunto de datos Mapillary, conocido por su diversidad en la anotación de categorías.
La fortaleza de este enfoque se probó empleando una técnica de perturbación rápida conocida como el método del signo del gradiente (FSGM), usada para detallar la vulnerabilidad del modelo. Mediante la implementación de dos LoRAs específicas, los resultados mostraron un incremento significativo en la tasa correcta de clasificación, pasando del 79.9% original a una mejora de hasta el 84.4% al defenderse contra ataques FSGM.
Esta investigación subraya la necesidad de seguir expandiendo el estudio con otras arquitecturas de ViT y diferentes tipos de ataques, para construir un sistema más robusto y versátil para los vehículos autónomos del futuro. Con LoRA, la lucha contra ataques adversariales en la visión computacional da un paso adelante prometedor, convirtiéndose en un eje de mejora continua en tecnologías emergentes.