Los modelos lingüísticos de gran escala (LLMs) han demostrado ser herramientas poderosas al capturar bancos de datos vastos preentrenados (conocimiento paramétrico, PK) y al integrar información adicional proporcionada como contexto (conocimiento contextual, CK). Sin embargo, a pesar de su potencial, los LLMs enfrentan retos considerables al intentar concatenar de manera efectiva estos dos tipos de conocimientos para resolver problemas complejos.

Para explorar esta dinámica, un grupo de investigadores presentó un trabajo donde introducen el LLM marco denominado ECHO QA, abordando esta problemática mediante categorías de relación: Soportante, Complementario, Conflictivo o Irrelevante. Los resultados arrojaron que los LLMs tienden a suprimir el conocimiento previamente capturado cuando se encuentra información contextual disponible.

El estudio mostró que, incluso si la información contextual es complementaria o irrelevante, los modelos aún fallan en utilizar completamente su conocimiento interno, lo cual verifica cierta vulnerabilidad de estos sistemas en tareas que requieren conocimiento intensivo. Sin embargo, con instrucciones a medida, los LLMs pudieron mejorar su capacidad para confiar más en su conocimiento paramétrico, aunque persistió la dificultad para utilizarlo del todo.

En experimentos realizados con múltiples modelos y usando tareas que abarcan conocimientos científicos, comunes y de sentido común, se observó que las LLMs suelen depender excesivamente del contexto presentado al responder preguntas, aunque el contexto pueda ser conflictivo o insuficiente.

En conclusión, aunque los modelos son esencialmente potentes, las limitaciones en la interacción dinámica entre el PK y CK revelan oportunidades para mejorar la confiabilidad de las LLMs en tareas intensivas de conocimiento. Se resalta la necesidad de mejorar los diseños de prompt o frameworks más sofisticados para facilitar esta integración en tareas futuras y así optimizar su rendimiento en ambientes del mundo real.