Azpiproiektuaren helburu nagusia zeinu-hizkuntzaren ulermena eta itzulpena hobetzea da, Ikusmen-Hizkuntza Ereduak (Vision-Language Models, VLM) garatuz. Ahalegin hau diziplinarteko lankidetza baten barruan kokatzen da, datu bisualen eta testualen integrazioan gaur egun dauden mugak gainditzea helburu duena, hala nola ikusmen-ainguratzea, konposiziozko adierazgarritasuna eta modalitateen arteko ezagutza-transferentzia hobetuz.
Proiektuak VLMen garapenean eta zeinu-hizkuntzaren itzulpen automatikoan dauden arazo kritikoak jorratzen ditu. Azken hori bereziki zaila da, datu anotatuen eskasia eta seinale multimodalen berezko konplexutasuna direla eta. Erronka horiei aurre egiteko, ikusmen-kodetzaile aurreratuak garatuko dira eta entrenamendu-metodoak hobetu egingo dira. Horri esker, MOLVIk eredu sendoagoak, zehatzagoak eta hainbat zeinu-hizkuntzatara egokitzeko gai direnak eraikitzea espero du, hala nola Espainiako Zeinu Hizkuntzara (LSE).
Proiektuaren eragina zabala da. Alde batetik, emaitzek komunitate gorren gizarteratzea sustatuko dutela espero da, osasun-arreta, hezkuntza eta zerbitzu publikoak bezalako funtsezko arloetan komunikazioa erraztuz. Bestetik, MOLVIk oinarri zientifiko berriak ezarriko ditu, datu bisualak eta testualak ikaskuntza sakoneko ereduetan modu eraginkorrean nola integratu aztertuz. Ikuspegi honek lehendik dauden ereduen gaitasunak hobetzeaz gain, baliabide mugatuak dituzten beste hizkuntza batzuetan aplikazio berriak garatzeko aukera ere ematen du.
MOLVIn garatutako teknologien ezarpenak estrategia praktikoak ere barne hartzen ditu, hala nola hizkuntza medikoaren itzulpena edo zeinu-hizkuntzaren ikaskuntzaren ebaluazioa. Lankidetzan eta erabiltzailean oinarritutako ikuspegia hartuta, azpiproiektuak bermatzen du garapen teknologikoak kulturalki sentikorrak izatea eta komunitate gorren benetako beharrei erantzutea, irisgarritasuna sustatuz eta desberdintasunak murriztuz.
Laburbilduz, MOLVI teknologia baliatuz komunitate gorrak ahalduntzeko ahalegin integral eta aitzindaria da, hizkuntza eta komunikazio-sistema desberdinetako erabiltzaileen arteko elkarreraginerako eta elkar ulertzeko aukera berriak irekiz.
Erakundea:  Ministerio de Ciencia, Innovación y Universidades (MCIU)
Ikerlari nagusia: Gorka Labaka
Partaideak: 
Eneko Agirre, Jon Alkorta, Ekain Arrieta, Gorka Azkune, Nerea Ezeiza, Gorka Labaka, Mikel Lersundi, Oier López de Lacalle , Imanol Miranda, Adrián Núñez, Paula Ontalvilla, Olatz Perez de Viñaspre, Ander Soraluze, Benjamin Suter