A probabilistic approach to quality monitoring and control in annotation campaigns for persuasion detection

The thesis aims to present a probabilistic model that predicts the intervention of an expert for the correction of annotations on persuasion techniques. Annotation corpora are a key area in Natural Language Processing (NLP), as they are used for training and evaluating learning algorithms. To ensure a high level of annotation quality, an expert in argumentation and persuasion techniques is involved in the annotation process to review them and provide feedback to the annotators. The goal of this thesis is to plan the intervention of the expert, determining in particular after how many annotations he/she should intervene, in order to minimise the costs of his/her intervention while maintaining a high level of annotation quality. As a study case, we consider the annotation of 22 persuasion techniques in memes. The work consists of the description of the model from both a mathematical and computational point of view, supported by numerical simulations and concrete examples.

La seguente tesi si propone di sviluppare un modello probabilistico che predice l’intervento di un esperto nella correzione delle annotazioni di tecniche di persuasione. Il processo di annotazione di data è fondamentale nel campo dell’Elaborazione del Linguaggio Naturale (NLP) ai fini della formazione e della valutazione di algoritmi di apprendimento automatico. Per garantire un’elevata qualità delle annotazioni, all’interno della campagna di annotazione viene introdotta la figura di un esperto che ha il compito di correggere eventuali errori commessi dagli annotatori e di fornire loro una conoscenza più approfondita delle tecniche di propaganda, al fine di evitare di commetterne di analoghi in futuro. L’obiettivo della tesi è pianificare l’intervento dell’esperto, determinando dopo quante annotazioni deve avvenire la supervisione, per minimizzare il costo dell’intervento senza compromettere la qualità delle annotazioni. Il lavoro prevede la descrizione del modello da un punto di vista matematico e computazionale, attraverso simulazioni ed esempi concreti di revisione di annotazioni di 22 tecniche di propaganda nei meme.