El subproyecto tiene como meta principal mejorar la comprensión y traducción de la lengua de signos mediante el desarrollo de Modelos Visio-Lingüísticos (VLM, por sus siglas en inglés). Este esfuerzo se enmarca en una colaboración interdisciplinar que busca superar las limitaciones actuales en la integración de datos visuales y textuales, mejorando aspectos como el anclaje visual, la representatividad composicional y la transferencia de conocimientos entre modalidades.
El proyecto aborda problemas críticos en el desarrollo de VLMs y su aplicación en traducción automática de la lengua de signos, área de especial dificultad debido a la escasez de datos anotados y la complejidad inherente de las señales multimodales. Para solucionar estos retos se desarrollarán codificadores visuales avanzados y se mejorarán los métodos de entrenamiento. Gracias a esto, MOLVI espera construir modelos más robustos, precisos y capaces de adaptarse a múltiples lenguajes de signos, como la Lengua de Signos Española (LSE).
El impacto del proyecto es amplio. Por un lado, se espera que los resultados contribuyan a la inclusión social de las comunidades sordas al facilitar la comunicación en sectores clave como la atención médica, la educación y los servicios públicos. Por otro lado, MOLVI establecerá nuevas bases científicas al explorar cómo integrar de manera efectiva los datos visuales y textuales en modelos de aprendizaje profundo. Este enfoque no solo mejora las capacidades de los modelos existentes, sino que también permite nuevas aplicaciones en otros idiomas con recursos limitados.
La implementación de las tecnologías desarrolladas en MOLVI también incluye estrategias prácticas, como la traducción de lenguaje médico o la evaluación del aprendizaje de la lengua de signos. Al adoptar un enfoque colaborativo y centrado en el usuario, el subproyecto asegura que los desarrollos tecnológicos sean culturalmente sensibles y respondan a las necesidades reales de las comunidades sordas, promoviendo la accesibilidad y reduciendo las desigualdades.
En resumen, MOLVI es un esfuerzo integral y pionero para empoderar a las comunidades sordas a través de la tecnología, abriendo nuevas posibilidades para la interacción y el entendimiento entre usuarios de diferentes lenguajes y sistemas de comunicación.
Organización:  Ministerio de Ciencia, Innovación y Universidades (MCIU)
Investigador principal: Gorka Labaka
Participantes: 
Eneko Agirre, Jon Alkorta, Ekain Arrieta, Gorka Azkune, Nerea Ezeiza, Gorka Labaka, Mikel Lersundi, Oier López de Lacalle , Imanol Miranda, Adrián Núñez, Paula Ontalvilla, Olatz Perez de Viñaspre, Ander Soraluze, Benjamin Suter