Soundrise 2.0: Sviluppo di un modello di riconoscimento timbrico per un sistema di assistenza web dedicato a persone con disabilità uditive

Soundrise is an application meant for people with hearing disabilities that provides a visual representation of voice features by analyzing in real time the audio signal from the microphone. With its accessible interface specifically designed for children, Soundrise aims to be a language education tool for users with hearing difficulties. In particular, four sound properties are analyzed: intensity, pitch, duration, and timbre; each of which determines a specific graphic representation of an animated sun visible on the screen. The first version of the program was developed by Stefano Giusto and Marco Randon, master's degree thesis students, in 2012. Today, after many years of code neglect and significant technological progress, it was necessary to develop a new version. The latter, called Soundrise 2.0, is actually a reconstruction of the original project and focuses on being cross-platform (leveraging the potential and diffusion of web languages) and to have a renewed appearance that makes the interface more appealing. The graphic design project was curated by fellow student Gabriele Turetta, while the sound analysis system programming was carried out by myself and fellow student Andrea Zanetti. This paper focuses on the analysis of one of the four voice properties dealt by Soundrise: the timbre. The main object of this thesis is a description of the foremost characteristics of the spectrum of a vocal production that allow the distinction of the phonemes of the pronounced vowels. In addition, the phases of the development of an automatic phoneme recognition system are presented, starting from the presentation of the technologies used.

Soundrise è un'applicazione destinata a persone con disabilità uditive che fornisce una rappresentazione visiva delle caratteristiche della voce, analizzando in tempo reale il segnale audio proveniente dal microfono. Tramite la sua interfaccia accessibile e pensata appositamente per i bambini, Soundrise si propone come strumento di educazione al linguaggio per utenti con difficoltà nell'udito. In particolare vengono analizzate quattro proprietà del suono: intensità, altezza, durata e timbro; ciascuna delle quali determina una specifica connotazione grafica di un sole animato visibile sullo schermo. La prima versione del programma è stata sviluppata da Stefano Giusto e Marco Randon, tesisti di laurea magistrale, nel 2012. Ad oggi, dopo molti anni di mancato mantenimento del codice e il consistente progresso tecnologico, si è reso opportuno lo sviluppo di una nuova versione. Quest'ultima, denominata Soundrise 2.0, è in realtà la ricostruzione ex novo del progetto originale e si pone come obiettivi principali il funzionamento multipiattaforma (sfruttando le potenzialità e la diffusione dei linguaggi web) e un rinnovamento nell'aspetto che renda l'interfaccia più accattivante. Il progetto grafico è stato curato dal collega laureando Gabriele Turetta, mentre la programmazione del sistema di analisi del suono è stata eseguita dal sottoscritto e dal collega Andrea Zanetti. Questo elaborato si incentra sull'analisi di una delle quattro proprietà della voce trattate da Soundrise, ovvero il timbro. È oggetto della presente tesi una descrizione delle principali caratteristiche dello spettro di una produzione vocale che permettono di distinguere i fonemi delle vocali pronunciate. Vengono inoltre esposte le fasi dello sviluppo di un sistema di riconoscimento automatico dei fonemi, a partire dalla presentazione delle tecnologie utilizzate.