Predictive coding of music from raw audio: probing MEG responses with a self-supervised model of musical expectation

In perceiving a stimulus, the brain does not merely represent the physical signal but integrates it with an active prediction of it, as theorized by predictive coding. We train an autoregressive transformer on music audio tokens and extract per-event surprisal and entropy directly from the waveform, without a symbolic score. Using encoding models, these features predict MEG responses and improve the predictive capability of the model compared to one that uses only acoustic features. This supports predictive-coding accounts and shows that raw-audio models capture musical expectation without transcription.

Nel percepire uno stimolo, il cervello non si limita a rappresentarne il segnale fisico, ma lo integra con una predizione attiva dello stesso, come teorizzato dal predictive coding. Abbiamo addestrato un transformer autoregressivo su token di audio musicale, estraendo per ciascun evento i valori di surprisal ed entropia direttamente dalla forma d'onda, senza ricorrere a una partitura simbolica. Attraverso modelli di encoding, tali caratteristiche predicono le risposte MEG e migliorano la capacità predittiva del modello rispetto a uno basato esclusivamente su caratteristiche acustiche. Questi risultati avvalorano le teorie del predictive coding e dimostrano che i modelli basati su audio grezzo sono in grado di catturare l'aspettativa musicale senza bisogno di alcuna trascrizione.