Asymptotic Equipartition Property e Applicazioni nella Compressione dei Dati

La teoria dell’informazione è la scienza alla base della compressione e della trasmissione dei dati. Questa tesi ha lo scopo di analizzare alcune delle nozioni principali della teoria dell’informazione, con lo scopo di studiare il legame che unisce la asymptotic equipartition property e la compressione dei dati. Vedremo inoltre degli esempi introduttivi per inquadrare meglio i temi principali di ogni argomento. Inizieremo analizzando l’entropia dell’informazione e le sue proprietà. Vedremo che essa è misura della quantità media di informazione contenuta in un messaggio o in un esito. Studieremo inoltre alcune delle proprietà fondamentali che la caratterizzano. Dopodiché introdurremo la compressione dei dati. Approfondiremo che tipi di compressione si possono effettuare ed esamineremo inoltre la relazione indissolubile che lega la compressione dei dati all’entropia dell’informazione. Ci soffermeremo poi sulla Asymptotic equipartition property. Questa proprietà permette di dividere lo spazio di tutte le sequenze di lunghezza n in due insiemi: il typical set e il suo insieme complementare, il non-typical set. Analizzeremo conseguentemente alcune delle proprietà principali che definiscono la natura del typical set. Infine, mostreremo che è possibile provare il primo teorema di Shannon, ossia il teorema che stabilisce i limiti della compressione dati possibile e il significato operativo di entropia dell’informazione, proprio grazie alla asymptotic equipartition property.