THIS THESIS INVESTIGATES THE POTENTIAL OF ARTIFICIAL INTELLIGENCE (AI) AS A SUPPORT FOR FORMATIVE ASSESSMENT. THE STUDY CONTRIBUTES TO THE CURRENT DEBATE ON THE APPLICATION OF THIS TECHNOLOGY IN EDUCATIONAL CONTEXTS, WITH THE AIM OF UNDERSTANDING WHETHER, AND TO WHAT EXTENT, IT CAN HELP IMPROVE TEACHING AND LEARNING PROCESSES. THE MAIN RESEARCH QUESTION IS: “CAN ARTIFICIAL INTELLIGENCE PROVIDE FEEDBACK WITH A LEVEL OF COMPREHENSIBILITY AND EFFECTIVENESS COMPARABLE TO THAT OF A HUMAN TEACHER?”. TO ANSWER THIS QUESTION, AN EMPIRICAL STUDY WAS CONDUCTED IN COLLABORATION WITH PRIMARY AND LOWER-SECONDARY SCHOOLS. STUDENTS WERE ASKED TO COMPLETE A COMPUTER-BASED WRITTEN TASK, WITH ONE GROUP RECEIVING AI-GENERATED FEEDBACK AND THE OTHER RECEIVING TEACHER-GENERATED FEEDBACK. THE RESEARCH INVOLVED COLLECTING PRELIMINARY CONTEXTUAL AND STUDENT DATA, DESIGNING SPECIFIC PROMPTS FOR THE AI, DELIVERING FEEDBACK TO THE PUPILS, ADMINISTERING QUESTIONNAIRES, AND ANALYZING THE REVISED SUBMISSIONS. THE RESULTS DEMONSTRATE A SIGNIFICANT IMPROVEMENT IN PRE- TO POST-FEEDBACK SCORES IN BOTH GROUPS, WITH EXCELLENT AGREEMENT BETWEEN HUMAN AND AUTOMATED ASSESSMENTS. MOREOVER, NEARLY ALL STUDENTS IDENTIFIED THE FEEDBACK AS PROVIDED BY A HUMAN, SUGGESTING THAT THE AI’S TONE, LANGUAGE, AND STYLE WERE SUFFICIENTLY CONSISTENT WITH THOSE OF THE TEACHER. IN CONCLUSION, ARTIFICIAL INTELLIGENCE CAN PROVIDE VALUABLE SUPPORT FOR FORMATIVE ASSESSMENT, PROVIDED THAT ACCURATE PROMPTS ARE USED AND ROBUST EVALUATION RUBRICS ARE SHARED WITH STUDENTS.

IL PRESENTE ELABORATO DI TESI INDAGA IL POTENZIALE DELL’INTELLIGENZA ARTIFICIALE (IA) COME STRUMENTO DI SUPPORTO ALLA VALUTAZIONE FORMATIVA. LO STUDIO SI INSERISCE NEL DIBATTITO ATTUALE SULL’APPLICAZIONE DI QUESTA TECNOLOGIA NEI CONTESTI EDUCATIVI, CON L’OBIETTIVO DI COMPRENDERE SE E IN CHE MISURA ESSA POSSA CONTRIBUIRE A MIGLIORARE I PROCESSI DI INSEGNAMENTO-APPRENDIMENTO. LA DOMANDA DI RICERCA PRINCIPALE È: “L’INTELLIGENZA ARTIFICIALE PUÒ OFFRIRE UN FEEDBACK CON UN LIVELLO DI COMPRENSIBILITÀ ED EFFICACIA COMPARABILE A QUELLO DI UN DOCENTE UMANO?”. PER RISPONDERE A QUESTO INTERROGATIVO, È STATA CONDOTTA UNA RICERCA EMPIRICA IN COLLABORAZIONE CON SCUOLE PRIMARIE E SECONDARIE DI I GRADO. AGLI STUDENTI È STATO PROPOSTO DI SVOLGERE UNA PROVA SCRITTA AL COMPUTER, VALUTATA TRAMITE FEEDBACK GENERATO DALL’IA PER UN GRUPPO E DA UNA DOCENTE PER L’ALTRO. LA RICERCA HA PREVISTO LA RACCOLTA DI INFORMAZIONI PRELIMINARI SUL CONTESTO E SUGLI STUDENTI, LA PROGETTAZIONE DI PROMPT SPECIFICI PER L’IA, LA CONSEGNA DEI FEEDBACK AGLI ALUNNI, LA COMPILAZIONE DI QUESTIONARI E L’ANALISI DELLE PROVE REVISIONATE. I RISULTATI EVIDENZIANO UN MIGLIORAMENTO SIGNIFICATIVO DEI PUNTEGGI PRE-POST FEEDBACK IN ENTRAMBI I GRUPPI, CON UN ACCORDO ECCELLENTE TRA VALUTAZIONI UMANE E AUTOMATIZZATE. INOLTRE, QUASI LA TOTALITÀ DEGLI STUDENTI HA IDENTIFICATO IL FEEDBACK COME FORNITO DA UN UMANO, SUGGERENDO CHE TONO, LINGUAGGIO E STILE DELL’IA FOSSERO SUFFICIENTEMENTE COERENTI CON QUELLI DEL DOCENTE. IN CONCLUSIONE, L’INTELLIGENZA ARTIFICIALE PUÒ RAPPRESENTARE UN VALIDO SUPPORTO ALLA VALUTAZIONE FORMATIVA, A PATTO CHE SIANO UTILIZZATI PROMPT ACCURATI E RUBRICHE VALUTATIVE SOLIDE E CONDIVISE CON GLI STUDENTI.

L’INTELLIGENZA ARTIFICIALE COME STRUMENTO DI SUPPORTO ALLA VALUTAZIONE FORMATIVA: UNA RICERCA EMPIRICA SULL’EFFICACIA DEL FEEDBACK GENERATO DALL’IA RISPETTO A QUELLO UMANO

STEVANIN, BENEDETTA
2024/2025

Abstract

THIS THESIS INVESTIGATES THE POTENTIAL OF ARTIFICIAL INTELLIGENCE (AI) AS A SUPPORT FOR FORMATIVE ASSESSMENT. THE STUDY CONTRIBUTES TO THE CURRENT DEBATE ON THE APPLICATION OF THIS TECHNOLOGY IN EDUCATIONAL CONTEXTS, WITH THE AIM OF UNDERSTANDING WHETHER, AND TO WHAT EXTENT, IT CAN HELP IMPROVE TEACHING AND LEARNING PROCESSES. THE MAIN RESEARCH QUESTION IS: “CAN ARTIFICIAL INTELLIGENCE PROVIDE FEEDBACK WITH A LEVEL OF COMPREHENSIBILITY AND EFFECTIVENESS COMPARABLE TO THAT OF A HUMAN TEACHER?”. TO ANSWER THIS QUESTION, AN EMPIRICAL STUDY WAS CONDUCTED IN COLLABORATION WITH PRIMARY AND LOWER-SECONDARY SCHOOLS. STUDENTS WERE ASKED TO COMPLETE A COMPUTER-BASED WRITTEN TASK, WITH ONE GROUP RECEIVING AI-GENERATED FEEDBACK AND THE OTHER RECEIVING TEACHER-GENERATED FEEDBACK. THE RESEARCH INVOLVED COLLECTING PRELIMINARY CONTEXTUAL AND STUDENT DATA, DESIGNING SPECIFIC PROMPTS FOR THE AI, DELIVERING FEEDBACK TO THE PUPILS, ADMINISTERING QUESTIONNAIRES, AND ANALYZING THE REVISED SUBMISSIONS. THE RESULTS DEMONSTRATE A SIGNIFICANT IMPROVEMENT IN PRE- TO POST-FEEDBACK SCORES IN BOTH GROUPS, WITH EXCELLENT AGREEMENT BETWEEN HUMAN AND AUTOMATED ASSESSMENTS. MOREOVER, NEARLY ALL STUDENTS IDENTIFIED THE FEEDBACK AS PROVIDED BY A HUMAN, SUGGESTING THAT THE AI’S TONE, LANGUAGE, AND STYLE WERE SUFFICIENTLY CONSISTENT WITH THOSE OF THE TEACHER. IN CONCLUSION, ARTIFICIAL INTELLIGENCE CAN PROVIDE VALUABLE SUPPORT FOR FORMATIVE ASSESSMENT, PROVIDED THAT ACCURATE PROMPTS ARE USED AND ROBUST EVALUATION RUBRICS ARE SHARED WITH STUDENTS.
2024
ARTIFICIAL INTELLIGENCE AS A SUPPORT FOR FORMATIVE ASSESSMENT: AN EMPIRICAL STUDY ON THE EFFECTIVENESS OF AI-GENERATED FEEDBACK COMPARED TO HUMAN FEEDBACK
IL PRESENTE ELABORATO DI TESI INDAGA IL POTENZIALE DELL’INTELLIGENZA ARTIFICIALE (IA) COME STRUMENTO DI SUPPORTO ALLA VALUTAZIONE FORMATIVA. LO STUDIO SI INSERISCE NEL DIBATTITO ATTUALE SULL’APPLICAZIONE DI QUESTA TECNOLOGIA NEI CONTESTI EDUCATIVI, CON L’OBIETTIVO DI COMPRENDERE SE E IN CHE MISURA ESSA POSSA CONTRIBUIRE A MIGLIORARE I PROCESSI DI INSEGNAMENTO-APPRENDIMENTO. LA DOMANDA DI RICERCA PRINCIPALE È: “L’INTELLIGENZA ARTIFICIALE PUÒ OFFRIRE UN FEEDBACK CON UN LIVELLO DI COMPRENSIBILITÀ ED EFFICACIA COMPARABILE A QUELLO DI UN DOCENTE UMANO?”. PER RISPONDERE A QUESTO INTERROGATIVO, È STATA CONDOTTA UNA RICERCA EMPIRICA IN COLLABORAZIONE CON SCUOLE PRIMARIE E SECONDARIE DI I GRADO. AGLI STUDENTI È STATO PROPOSTO DI SVOLGERE UNA PROVA SCRITTA AL COMPUTER, VALUTATA TRAMITE FEEDBACK GENERATO DALL’IA PER UN GRUPPO E DA UNA DOCENTE PER L’ALTRO. LA RICERCA HA PREVISTO LA RACCOLTA DI INFORMAZIONI PRELIMINARI SUL CONTESTO E SUGLI STUDENTI, LA PROGETTAZIONE DI PROMPT SPECIFICI PER L’IA, LA CONSEGNA DEI FEEDBACK AGLI ALUNNI, LA COMPILAZIONE DI QUESTIONARI E L’ANALISI DELLE PROVE REVISIONATE. I RISULTATI EVIDENZIANO UN MIGLIORAMENTO SIGNIFICATIVO DEI PUNTEGGI PRE-POST FEEDBACK IN ENTRAMBI I GRUPPI, CON UN ACCORDO ECCELLENTE TRA VALUTAZIONI UMANE E AUTOMATIZZATE. INOLTRE, QUASI LA TOTALITÀ DEGLI STUDENTI HA IDENTIFICATO IL FEEDBACK COME FORNITO DA UN UMANO, SUGGERENDO CHE TONO, LINGUAGGIO E STILE DELL’IA FOSSERO SUFFICIENTEMENTE COERENTI CON QUELLI DEL DOCENTE. IN CONCLUSIONE, L’INTELLIGENZA ARTIFICIALE PUÒ RAPPRESENTARE UN VALIDO SUPPORTO ALLA VALUTAZIONE FORMATIVA, A PATTO CHE SIANO UTILIZZATI PROMPT ACCURATI E RUBRICHE VALUTATIVE SOLIDE E CONDIVISE CON GLI STUDENTI.
Feedback educativo
IA
Rubrica valutativa
Prompt engineering
File in questo prodotto:
File Dimensione Formato  
Stevanin_Benedetta.pdf

Accesso riservato

Dimensione 5.65 MB
Formato Adobe PDF
5.65 MB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/94548