Sistemi di tracciamento e riconoscimento del gesto nell'interazione musicale: una review dello stato dell'arte

L’interazione tra il gesto fisico e la generazione del suono si presenta come un campo di ricerca che si colloca nell’intersezione tra ingegneria dell’informazione e arti performative. L’obiettivo di questa ricerca bibliografica è quello di fornire una review dello stato dell’arte delle tecnologie riguardanti questo contesto e, in maniera più specifica, il caso in cui un performer, in un contesto di esibizione dal vivo, utilizzi il proprio corpo per manipolare parametri sonori in tempo reale. L’elaborato segue coerentemente il processo che dal movimento porta alla generazione audio e alla manipolazione di quest’ultimo. In prima analisi, infatti, si presentano le tecnologie più utilizzate in ambito di Motion Tracking dove vengono descritti i sistemi ottici sia marker-based sia markerless e i sistemi non visivi (come le Unità di Misura Inerziali), confrontandoli tra di loro. In seguito, propone le soluzioni più adeguate e diffuse anche per il dominio del Gesture Recognition, esaminando gli algoritmi di Machine Learning che permettono la classificazione dei gesti e i framework, ad esempio MediaPipe, che li rendono fruibili nella pratica. In conclusione, si offre un’analisi comparativa dei compromessi tra le diverse tecnologie proposte, per poter selezionare dei criteri secondo cui scegliere uno o l’altro sistema sulla base delle applicazioni.