Autor Articles i estudis
9 Novembre 2016 a 18:00

Un nou repte per a la tecnologia musical: tocar i compondre música amb la mirada

upf EyeHarp

Zacharias Vamvakousis i Rafael Ramírez, membres del Grup de Recerca en Tecnologia Musical (MTG) del Departament de Tecnologies de la Informació i les Comunicacions(DTIC), presenten i avaluen una nova interfície: l’EyeHarp, un instrument musical digital controlat a través de la mirada en què la interacció i l’expressivitat amb l’instrument el realitza l’usuari seleccionant els acords i arpegis, la melodia i el volum, només a través de la seva mirada.

En estudis previs s’ha vist que aprendre música o tocar algun instrument aporta beneficis importants, més enllà de les competències merament artístiques. Tant en nens com en adults, l’aprenentatge de música s’ha associat a canvis estructurals en el cervell. Per exemple, els músics presenten algunes regions cerebrals més grans que estan relacionades amb la visió i l’oïda; més matèria grisa en l’àrea de Broca, una àrea relacionada amb el llenguatge; les fibres nervioses que connecten els dos hemisferis cerebrals més llargues, etc., en comparació amb les persones que no són músics. Igualment, s’ha pogut comprovar en infants que la música incrementa la memòria no verbal, el coeficient d’intel·ligència, la comprensió aritmètica i la concepció espaial.

Les persones amb discapacitat motora tenen dificultats a l’hora d’aprendre a tocar un instrument musical. Per això, no es poden beneficiar dels avantatges d’aprendre música. Tot i que s’han desenvolupat interfícies musicals digitals adaptades (ADMI), aquesta alternativa és insuficient per a persones amb incapacitat motora severa amb paràlisi muscular completa. Per a aquestes persones, una bona alternativa podria ser la tecnologia eye-tracking o de seguiment de la mirada.

Una prova pilot que ha estat prometedora

Fins al moment, els investigadors Vamvakousis i Ramírez, han fet una fase pilot per estudiar quantitativa i qualitativament la usabilitat de l’EyeHarp des de la perspectiva de l’intèrpret. Aquest experiment el van realitzar amb 8 persones sense cap tipus de discapacitat i amb coneixements musicals. Un segon experiment ha permès estudiar la interfície des de la perspectiva del públic. En aquest experiment van participar 31 persones que van actuar com a audiència i que van valorar dos concerts: una interpretació per a EyeHarp sol, i una altra per a EyeHarp, dues guitarres i flauta.

Com indiquen Vamvakousis i Ramírez en un estudi publicat a Frontiers in Psychology, “els resultats obtinguts indiquen que, igual que els instruments musicals tradicionals, l’instrument musical digital que hem desenvolupat té una corba d’aprenentatge molt pronunciada i permet produir interpretacions expressives, tant des del punt de vista de l’intèrpret com del públic”. Aquests resultats obren camí per poder disposar de l’EyeHarp per a persones discapacitades i facilitar l’aprenentatge i la interpretació musical, gaudint, al seu torn, dels avantatges cognitius que, segons han evidenciat diversos estudis previs, ofereix aquesta activitat.

Aquest projecte ha rebut finançament del programa de recerca i innovació Horitzó 2020 de la Unió Europea, així com dels projectes espanyols TIN (Tecnologies Informàtiques per a la Societat de la Informació) dins el projecte TIMUL.

Treball de referència:

Zacharias Vamvakousis , Rafael Ramírez (2016), “The EyeHarp: A Gaze-Controlled Digital Musical Instrument“, Frontiers in Psychology, http://dx.doi.org/10.3389/fpsyg.2016.00906.

Switch to mobile version