Una investigación reciente expone nuevos desafíos en la evaluación de modelos multimodales a gran escala y su alineación con los valores humanos. A pesar de que varios modelos avanzados han alcanzado puntuaciones similares a las humanas en tareas de visión y lenguaje, se cuestiona crecientemente su capacidad para estar verdaderamente alineados con principios centrados en el ser humano, como la equidad y la empatía.
El marco de referencia HumaniBench ha sido desarrollado para poner a prueba la alineación humana de estos modelos, centrándose en siete principios fundamentales: equidad, ética, comprensión, razonamiento, inclusión lingüística, empatía y robustez. A través de siete tareas diversas que incluyen respuestas a preguntas visuales cerradas, preguntas multilingües, fundamentación visual, subtitulado empático y pruebas de robustez, HumaniBench ofrece una evaluación integral del comportamiento de estos modelos en condiciones reales.
Este estudio compara 15 modelos, tanto de código abierto como cerrado, revelando que los modelos propietarios suelen liderar en cuanto a precisión general. Sin embargo, enfrentan desafíos en robustez y fundamentación visual, mientras que algunos modelos de código abierto batallan por equilibrar la precisión con la adhesión a principios humanos.
Los hallazgos indican que los modelos cerrados obtienen mejores puntuaciones en muchos de los principios, aunque aún presentan brechas significativas en áreas específicas como la equidad y la inclusión lingüística. Estos modelos son sobresalientes en tareas individuales, tales como reconocimiento de objetos y fundamentación visual detallada. Sin embargo, a menudo necesitan comprometer la exactitud en favor de otras áreas como la empatía e inclusión lingüística.
Con el lanzamiento del HumaniBench, se abre la puerta hacia una evaluación más rigurosa de modelos que aspiran a ser socialmente responsables. La capacidad de adaptar modelos multimodales a necesidades humanas específicas y contextos sociales se perfila como un área de interés clave. La mejora en la alineación con los principios humanos facilitará el desarrollo de IA que, además de precisa, se convierta en aliada de una interacción ética y equitativa.
Conclusión: HumaniBench establece un precedente al presentar un estándar integral y centrado en los valores humanos. La investigación futura debería centrarse en mejorar modelos que no solo sean precisos, sino que también respalden y actúen de acuerdo con las expectativas sociales y éticas.