Científicos de varias instituciones de los Países Bajos han desarrollado un prometedor enfoque para mejorar la interpretabilidad de los modelos de inteligencia artificial multimodal, denominado MultiFIX. Este modelo se centra en la fusión de datos que provienen de múltiples modalidades, como imágenes y datos tabulares, lo cual es especialmente relevante en campos como la medicina, donde la transparencia en las predicciones es crítica.

El proceso de MultiFIX inicia con la utilización de componentes de aprendizaje profundo para entrenar modelos a partir de datos. Posteriormente, estos componentes se explican usando métodos post-hoc como Grad-CAM para imágenes o son completamente sustituidos por bloques interpretables, denominados expresiones simbólicas para datos tabulares.

El sistema se aprovecha tanto del potencial de aprendizaje de las redes neuronales profundas como de la interpretabilidad de expresiones simbólicas generadas con programación genética. Esto permite que los modelos generen interpretaciones que son no solo precisas, sino además fácilmente comprensibles.

Los experimentos muestran que MultiFIX no solo genera modelos robustos para problemas multimodales que son generalmente mejores que las aproximaciones unimodales, sino que también proporcionan explicaciones claras sobre cómo se combinan y emplean las características de diferentes modalidades para hacer predicciones.

Aunque aún queda trabajo por hacer, especialmente en la mejora de la interpretabilidad de los elementos visuales y su aplicación a problemas del mundo real, MultiFIX representa un gran avance hacia modelos AI más confiables y transparentes en campos donde la toma de decisiones está en juego, como la salud.

En conclusión, MultiFIX ofrece una visión innovadora para abordar la necesidad de un análisis interpretativo en modelos de AI multimodal, abriendo las puertas a nuevas investigaciones y aplicaciones prácticas en áreas donde la interacción continua entre expertos y la inteligencia artificial es vital.