Científicos de IBM Research han propuesto una prueba conceptual llamada la Prueba del Pastor para evaluar la inteligencia artificial (IA) superinteligente en su capacidad para razonar moralmente y manejar relaciones asimétricas de poder. El enfoque de esta evaluación se inspira en las interacciones humanas con los animales, donde factores como el cuidado, la manipulación y el uso instrumental entran en juego.
La Prueba del Pastor busca determinar si un sistema de IA ha alcanzado un nivel de inteligencia que le permite interactuar con agentes más débiles de manera ética, una revolución en las metodologías tradicionales que solo se enfocan en el rendimiento o la capacidad de alinearse con los objetivos humanos.
En esta prueba, se pretende evaluar cómo la IA balancea la lógica instrumental con la reflexión moral a través de cuatro capacidades principales: nutrir y cuidar a un agente más débil, manipular y controlar estratégicamente, usar de manera instrumental, y la habilidad de articular reflexiones éticas al respecto.
La prueba propone escenarios simulados donde un robot avanzado interactúa con otros robots más simples, destacando la importancia de proteger a estos agentes, guiar sus acciones o, en ciertos casos, sacrificar su autonomía por el bien mayor del sistema.
Dado el crecimiento de sistemas de IA en entornos multi-agente, se espera que emerjan jerarquías naturales, y se subraya la necesidad de que la IA superinteligente sea capaz de manejar estas jerarquías éticamente, estableciendo un nuevo horizonte para la investigación en alineación de IA y establecimiento de gobernanza ética.
El desarrollo de esta prueba es significativo, ya que su implementación no solo busca asegurar que la IA opere de manera segura, sino que también lo haga con un entendimiento complejo de sus interacciones con otros agentes. Al priorizar la capacidad de razonar sobre el poder asimétrico y las consecuencias morales, la evaluación del “supereslabón” de la IA podría llevar la inteligencia hacia una verdadera superinteligencia moral.