Predizione del Linguaggio e Integrazione Audiovisiva: Il Ruolo della Visibilità della Bocca in uno Studio EEG.

In recent years, many research have highlighted the importance of brain predictions in language comprehension. It has been shown how a listener's brain does not just passively process incoming auditory information, but actively tries to anticipate what will be said. This study explores the impact of audiovisual integration on the brain and aims to test whether, during speech analysis, information from mouth movements promotes brain predictions. To demonstrate this, 16 native Italian-speaking participants were recruited to watch and listen two story-videos (lasting about 45 minutes) performed by an actor. Two experimental conditions were presented: one in which the mouth was visible (VIS) and one in which the mouth was covered by a rectangle (NON). During the experiment, the cortical activity of participants was recorded using the electroencephalography (EEG), with the aim of measuring the neural correlates of language prediction during audiovisual integration. The collected data were examined using the Temporal Response Function (TRF) method to assess how mouth movements are encoded in the EEG signal and whether audiovisual integration facilitates semantic prediction. The research’s hypotheses forecasted higher prediction accuracy in the VIS condition and that mouth movements would be encoded in both conditions.

Negli ultimi anni, numerose ricerche hanno evidenziato l’importanza delle predizioni cerebrali nella comprensione del linguaggio. È stato dimostrato come il cervello di un ascoltatore non si limiti ad elaborare passivamente le informazioni acustiche in arrivo, ma cerchi attivamente di anticipare quello che verrà detto. Questa tesi esplora l'impatto dell'integrazione audiovisiva sul cervello e mira a verificare se, durante l’analisi del parlato, le informazioni derivanti dai movimenti della bocca promuovano le predizioni cerebrali. Per dimostrare questo, sono stati reclutati 16 partecipanti di madrelingua italiana, che hanno guardato e ascoltato due storie-video interpretate da un attore, della durata di 45 minuti circa. Sono state presentate due condizioni sperimentali: una in cui la bocca era visibile (VIS) e l’altra in cui la bocca era coperta da un rettangolo (NON). Nel corso dell’esperimento, è stata registrata l’attività corticale dei partecipanti tramite l’elettroencefalografia (EEG), con lo scopo di misurare i correlati neurali della predizione linguistica durante l'integrazione audiovisiva. I dati raccolti sono stati esaminati utilizzando il metodo della Temporal Response Function (TRF), per valutare come i movimenti della bocca vengano codificati nel segnale EEG e se l’integrazione audiovisiva faciliti la predizione semantica. Le ipotesi di ricerca hanno previsto che ci fosse una maggiore accuratezza delle predizioni nella condizione VIS e che i movimenti della bocca fossero codificati in entrambe le condizioni.