En los últimos años, las líneas telefónicas de apoyo psicológico han sido una herramienta crucial para la intervención en crisis, especialmente ante un aumento de la demanda. Ahora, se está evaluando el potencial de los grandes modelos de lenguaje (LLMs) para apoyar en la detección de crisis, algo que podría revolucionar la forma en que estos servicios operan y se despliegan en contextos clínicos reales.

En un ambicioso proyecto, se ha desarrollado PsyCrisisBench, un marco de referencia que evalúa diferentes aspectos críticos a través del análisis de 540 transcripciones de la Línea de Asistencia Psicológica de Hangzhou. Estos análisis buscan esclarecer cómo los LLMs pueden desempeñarse en tareas como el reconocimiento del estado de ánimo, la detección de ideación suicida, la identificación de planes de suicidio y la evaluación de riesgos.

Se evaluaron 64 modelos de diferentes familias, como GPT, Claude y Gemini, entre otros, y espacios abiertos como Qwen y DeepSeek. El rendimiento de los modelos en la detección de ideación suicida fue notable, con una puntuación F1 de 0.880, mientras que la identificación de planes de suicidio alcanzó 0.779 y la evaluación de riesgos 0.907. Curiosamente, el reconocimiento del estado de ánimo fue el área en la que los modelos encontraron más desafíos.

Un avance sustancial se logró gracias al ajuste fino de un modelo de 1.5G que superó a modelos mayores en tareas de ideación y estado de ánimo. Por otro lado, aunque los modelos de código abierto como QwQ-32B y Qwen-32B alcanzaron tasas de desempeño comparables a sus contrapartes de código cerrado en muchas áreas, la detección del estado de ánimo sigue siendo un desafío mayor para los sistemas abiertos.

El estudio mostró que el tamaño de los modelos impacta en el rendimiento solo hasta cierto punto, mientras que métodos de cuantización han facilitado una reducción del 70% en el uso de memoria GPU sin degradar el rendimiento significativamente.

En conclusión, los LLMs ofrecen un potencial significativo para mejorar las evaluaciones psicológicas estructuradas, aunque el reconocimiento del estado de ánimo es una tarea que requiere más atención debido a su complejidad contextual y paralingüística. La convergencia entre modelos abiertos y cerrados, junto con la eficiencia en la cuantización, sugiere una integración factible en el mundo real. PsyCrisisBench proporciona un sólido marco de evaluación del mundo real que orienta el desarrollo de modelos y su implementación ética en el ámbito de la salud mental clínica.