En medio de una creciente preocupación sobre el uso de la inteligencia artificial (IA) para evaluar y categorizar a los ciudadanos, el nuevo Acta de Inteligencia Artificial (AI Act) de la Unión Europea ha introducido un controvertido veto al “social scoring”. Esta práctica, que evoca sistemas implementados en China para evaluar el comportamiento de los ciudadanos mediante tecnologías digitales, queda ahora prohibida en el continente europeo. Sin embargo, la delimitación entre lo que constituye un “social score” y otras formas de puntuación aún presenta complejidades.

El Acta de IA clasifica los sistemas de IA en función de los riesgos que representan, con los sistemas de riesgo alto sujetos a requisitos legales específicos. Sin embargo, los sistemas dedicados al social scoring están totalmente prohibidos. Aquí surge el desafío: la normativa define un “social score” como la clasificación de individuos según su comportamiento social o características personales, lo que puede conducir a un tratamiento injustificado o desproporcionado.

Pese a la prohibición, las prácticas de puntuación en Europa no están destinadas a desaparecer. Aunque las puntuaciones de riesgo alto, como el crédito o la valoración laboral, son permitidas bajo regulaciones estrictas, el contexto de aplicación podría convertir una puntuación en un social score si se utiliza injustificadamente o en contextos diferentes para los que fue creada.

Implicaciones se observan en áreas como el acceso al crédito o a servicios, donde sistemas de puntuación tradicionales, aunque no considerados inicialmente como “sociales”, podrían convertirse en tales si su aplicación resulta desproporcionada o injusta. La ambigüedad radica en el hecho de que una práctica inicialmente considerada legal podría incurrir en prohibición si se implementa de manera contraria a los principios del AI Act.

Las características “sociales” de una puntuación pueden depender más del uso que del diseño inicial del sistema de puntuación, lo que plantea retos tanto para los desarrolladores de IA como para los reguladores. Así, la prohibición, similar a la contenida en el Artículo 22 del GDPR sobre decisiones automatizadas, abre la puerta a integrar salvaguardias adicionales contra el uso abusivo de puntuaciones basadas en IA.