DeepThought introduce un enfoque escalable para adaptar Modelos de Lenguaje de Gran Tamaño a idiomas de bajos recursos mediante una estrategia innovadora de preentrenamiento y alineación conjunta. El proyecto desarrollará metodologías empíricamente validadas para extender modelos de código abierto como Llama-3+ y Qwen+ a idiomas como el euskera y el español, aprovechando conjuntos de datos sintéticos y verbalizaciones de razonamiento de LLMs y Modelos de Razonamiento Lingüístico existentes. Los objetivos clave incluyen mejorar el rendimiento zero-shot y few-shot mediante técnicas RAG, potenciar la computación en tiempo de inferencia y las capacidades de razonamiento, crear nuevos benchmarks de evaluación centrados en la veracidad y la seguridad, desarrollar métricas LLM-as-a-Judge y construir aplicaciones multimodales en dominios como eLearning y eSalud. Aunque inicialmente enfocado en español y euskera, el proyecto busca democratizar la tecnología LLM para los idiomas europeos de bajos recursos, asegurando que estas comunidades puedan participar plenamente en los avances de la IA.
Página web: http://deepthought.hitz.eus
Organización:  Ministerio de Ciencia, Innovación y Universidades (MCIU)
Investigador principal: Rodrigo Agerri, German Rigau
Participantes: 
Jon Ander Elorriaga, Mikel Larrañaga, Xabier Saralegi, Muitze Zulaika, Rodrigo Agerri, Itziar Aldabe, Izaskun Aldezabal, Olatz Ansa, Maxux Aranzabe, Xabier Arregi, Olatz Arregi, Jeremy Barnes, Blanca Calvo, Julen Etxaniz, Izaskun Etxeberria, Itziar Gonzalez-Dios, Maite Heredia, Mikel Iruskieta, Iñigo López, German Rigau , Elisa Sanchez, Aitor Soroa, Anar Yeginbergen, Irune Zubiaga