LUMINOUSek hurrengo belaunaldiko XR sistema eta aplikazioen sorkuntzan laguntzea du helburu, non hizkuntza naturalean oinarritutako komunikazioa eta Hizkuntza Eredu Handiek etorkizuneko elkarrekintza birdefinitzen duten errealitate hedatuaren (XR) teknologia berriarekin eta erabiltzaileen egoeraren ulermena hobetzen duten. ingurunea lehen aldiz aurkitzen diren egoeretan ere.

Helburu nagusia hizkuntzaz areagotutako plataforma multimodal integratua sortzea da, erabiltzaileen behar indibidualetara, aurrez definitu gabea, eta ikusten ez diren inguruneetara egokitzen dena. Horri esker, etorkizuneko XR erabiltzaileek beren ingurunearekin modu errazean elkarreragiteko aukera izango dute, etengabe eguneratzen diren jakintza-iturri global zein domeinu espezifikoetara berehalako atzipena izan dezaten zeregin berriak betetzeko. Gaitasun horiek pentsaezinezko eragina izango dute etorkizuneko urrutiko ikaskuntzan, prestakuntzan, entretenimenduan edo urruneko osasun zerbitzuen hornikuntzan. Norabide horretan, Hizkuntza Eredu Handiak (LLM) ustiatu nahi ditugu ikusten ez diren egoeren eta objektuen gainean orokortzeko modu eraginkorrean, XR osagai berriek lagundutako komunikazio-bide eraginkorrekin. LLMk orakulu baten moduan jokatzen du erabiltzaileen eskariaren arabera zeregin berriak deskribatzeko. Ondoren, hitz bidezko interfaze baten bidez edo Avatar baten bidez (adibidez, entrenatzailea/irakaslea) jakinarazten dira, zeregina betetzeko hainbat ikus-laguntza eta prozedura-urratsen arabera. LLM-ek paraleloki etekina ateratzen dute beren prestakuntza-datuen parte ez ziren objektu berriak identifikatzen eta, ondoren, deskribatzen dituzte bisualki antzeman daitezkeen moduan. Gure ingurune kognitiboaren bidez, avatar birtualek erraztuko dute
Komunikazio orokortua eta egoeraz jabetua erabilera anitzetan eta sektore ezberdinetan, hala nola osasuna (errehabilitazioan eta urritasuna duten pertsonen laguntzan zentratu), murgiltze-ikaskuntza, diseinuaren berrikuspena entretenimendurako balizko luzapenekin eta kirola.
Erakundea:  European Commission
Ikerlari nagusia: Didier Striker
Partaideak: 
DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH - DFKI; LUDUS TECH SL; MINDESK SOCIETA A RESPONSABILITA LIMITATA; FRAUNHOFER GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG EV - Fraunhofer; FUNDACION CENTRO DE TECNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES VICOMTECH - VICOM; UNIVERSITY COLLEGE DUBLIN, NATIONAL UNIVERSITY OF IRELAND, DUBLIN - NUID UCD; HYPERCLIQ IKE - HYPERCLIQ; RICOH INTERNATIONAL BV, Iñigo Alonso, Gorka Azkune, Jeremy Barnes, Ander Salaberria, Aitor Soroa