En un esfuerzo por alinear los modelos de lenguaje con las normas éticas y valores humanos dominantes, un equipo de investigadores ha desarrollado el primer Corpus de Valores Chinos (CVC) a gran escala. Este corpus tiene como base el marco jerárquico de valores centrado en los valores chinos esenciales y comprende más de 250,000 reglas de valor, logrando una notable validación de alineación cultural.
El desarrollo del CVC se enfoca en superar las limitaciones de los modelos de alineación de valores existentes, que predominan en el ámbito occidental y fallan al capturar la diversidad moral global en contextos no occidentales, como el chino. A través de un marco basado en valores centrales chinos, se logró la creación de un corpus altamente estructurado que no solo abarca 12 valores centrales, sino también 50 valores derivados que reflejan las dimensiones nacionales, sociales y personales.
Las pruebas experimentales demuestran que los escenarios generados guiados por CVC son seleccionados en preferencia sobre las generadas libremente por un 70.5% en hasta siete modelos LLM principales, mientras que los anotadores humanos muestran un grado de alineación del 87.5% con CVC. Esto confirma su relevancia cultural y alineación sólida con los valores chinos.
Además, se generaron 404,505 escenarios de dilemas morales basados en reglas, probados sobre 17 LLMs, para evaluar la alineación de valores. Estos dilemas desafían a los modelos a elegir entre principios en conflicto, demostrando así la capacidad de CVC para crear un estándar de evaluación adaptable culturalmente.
La investigación subraya que, en comparación con otros benchmarks, el CVC proporciona un estándar más preciso y localizado para la alineación de valores, permitiendo así una mejor comprensión de las preferencias de valores en diversos contextos culturales.
Con la implementación del CVC, se abre una nueva avenida para explorar las preferencias de valor en escenarios complejos, subrayando su aplicabilidad más amplia en evaluaciones éticas globales y promoviendo una mayor alineación cultural de los LLMs.