TigerLLM: Últimos avatares en modelos de lenguaje grande para el Bangla. La falta de recursos lingüísticos de calidad ha sido una constante en los modelos de lenguaje grande (LLM) en Bangla, con resultados a menudo inestables y desigual distribución de resultados. Sin embargo, el TigerLLM ha desafiado esta tendencia, ofreciendo un modelo que sobrepasa al resto gracias a una combinación de datos rigurosamente seleccionados. Este nuevo enfoque resalta la importancia vital de la calidad sobre la cantidad en el proceso de entrenamiento de modelos.

El TigerLLM, presentado como una familia de modelos LLM para el idioma Bangla, ha demostrado destacarse notablemente sobre las alternativas de código abierto existentes e incluso desafía modelos propietarios más grandes como GPT-3.5 en varias pruebas de referencia estándar. Esta innovación en la inteligencia artificial del lenguaje ha sido posible gracias a la creación del corpus Bangla-TextBook, compuesto por 10 millones de tokens provenientes de materiales educativos cuidadosamente seleccionados. La calidad de estos datos es un salto en la dirección correcta para proporcionar resultados competentes y fiables.

La metodología detrás del TigerLLM ha sido meticulosa. Se implementaron conjuntos de instrucciones en Bangla (Bangla-Instruct), generadas a través del autoinstrucción y destilación de modelos avanzados como GPT-4 y Claude-3.5-Sonnet. Este enfoque ha generado 100,000 pares de instrucciones y respuestas, garantizando su adhesión a calidad elevada y sensibilidad cultural.

El modelo Tiger-LLM se entrena a partir de estas bases de datos de alta calidad en corpus y conjuntos de instrucciones de Bangla. Las versiones del modelo con 1 y 9 mil millones de parámetros muestran mejoras del 30-55% sobre los estándares establecidos. La comunidad de código abierto tiene ahora con TigerLLM la oportunidad de avanzar en el desarrollo y estudio del modelado de lenguajes en Bangla.

A pesar de sus logros, TigerLLM no está exento de limitaciones. Su corpus se limita a material educativo de grados específicos, y podría no capturar patrones lingüísticos en dominios más extensos. En experimentos futuros se planea abordar estas limitaciones expandiendo el corpus y buscando mayores variantes lingüísticas que representen de forma más extensa las complejidades del habla y escritura en Bangla. En adición se busca escalar el tamaño de los modelos manteniendo rigurosamente su calidad de aprendizaje. Sin embargo, el mensaje claro es que en el mundo del aprendizaje automático, la calidad es reina y el camino que TigerLLM ha pavimentado establece un estándar a seguir para el desarrollo de modelos en recursos lingüísticos menores.