Modelli di sequenze aleatorie basati sul Transformer

Negli ultimi anni i Transformer basati sull’Attenzione hanno ottenuto un enorme successo in una varietà di discipline. L’obiettivo di questo progetto è studiare la capacità dei Transformer di modellare sequenze aleatorie di dati. Si inizierà descrivendo l'architettura interna di un Transformer e la relativa fase di allenamento, successivamente si eseguiranno dei test variando particolari parametri e si mostreranno nel dettaglio le principali operazioni eseguite dal Transformer. A scopo didattico verrà mostrata anche la principale parte del codice sorgente e, infine, verranno tratte le conclusioni dello studio.