Strumenti statistici multivariati per la sintesi degli indicatori ANVUR a supporto della governance accademica

The data analyzed in this report come from ANVUR (National Agency for the Evaluation of the University and Research System), an agency responsible for assessing the performance of universities in the areas of teaching, research, and internationalization. It uses a set of indicators, enriched with additional information, that allows for various types of comparisons. In particular, my analysis is based on quantiles calculated for each indicator and each degree program, in comparison to all other similar programs. This thesis builds upon the work of a colleague, Riccardo Pati, who had previously collaborated with Professor Livio Finos to develop an automatic and standardized reporting system for evaluating the performance of degree programs. This system involved the creation of charts and tables to visualize trends and quantiles, as well as an alerting mechanism in the case of concerning values. The analysis conducted by my colleague focused primarily on reports intended for degree program directors. In contrast, the analysis presented in this report aims to provide a more general overview, beyond the level of individual degree programs, with a perspective geared toward school-level directors or even a university rector. I attempted to use statistical tools to give a broader picture of how programs are performing within the schools they belong to, to highlight which programs show the most concerning results, and to identify which indicators fall below the national average and thus warrant more attention. To this end, I focused on principal component analysis (PCA), which serves as a tool to summarize the indicators and show how the University of Padua’s programs are positioned relative to each other and to the rest of Italy. I also addressed the inferential aspect: using multivariate inference, I attempted to provide a statistically rigorous formulation to identify when a degree program is significantly below the national average.

I dati che verranno anlizzati in questa relazione provengono dall'ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca), agenzia che si occupa di valutare i risultati conseguiti dalle università nell’ambito della didattica, della ricerca e della loro internazionalizzazione, utilizzando un insieme di indicatori, arricchito di informazioni, che consente di operare vari tipi di confronti. In particolare la mia analisi ha come punto di partenza i quantili calcolati rispetto a tutti gli altri corsi dello stesso genere per ogni indicatore e per ogni corso di studi. Il lavoro di questa tesi riprende la tesi di un collega, Pati Riccardo, che aveva già lavorato assieme al professor Finos Livio sviluppando un sistema di reportistica, automatico e standardizzato, per la valutazione dell’andamento dei Corsi di Studio, attraverso la costruzione di grafici e tabelle per la visione di trend e quantili, e con un sistema di alerting in caso di valori allarmanti. L'analisi prodotta dal collega si concentra soprattutto sul report per dirigenti del corso di studi. L'analisi condotta in questa relazione vuole invece servire per dare un immagine ad un livello più generale rispetto al singolo corso di studi, in un ottica di report per dirigenti di scuole o per un rettore. Ho provato a usare degli strumenti statistici per dare una prospettiva dell'andamento dei corsi in relazione alla scuola di cui fanno parte, fare presente quali sono i corsi più allarmanti e su quali indicatori è meglio concentrarsi perchè inferiori alla media italiana. Mi sono concentrato per questo sull'analisi delle componenti principali, che verrà usata come strumento per riuscire a riassumere gli indicatori e mostrare come i corsi dell'Università di Padova si posizionano tra di loro e ripetto al resto d'Italia. Mi sono soffermato poi anche sull'aspetto inferienziale: con l'inferenza multivariata ho provato a dare una formulazione rigorosa in termini statistici per segnalare quando un corso di studi è molto al disotto della media italiana