Artificial intelligence is reshaping evaluation processes in e-learning, raising both opportunities and critical concerns that directly affect the role of the instructional designer. This qualitative study explores the perceptions, practices, and representations of professionals in the field regarding the use of AI in digital learning contexts. Through semi-structured interviews, five key thematic areas were identified: assessment tools, implicit theoretical models, current uses of AI, competence monitoring, and future scenarios. Findings reveal that AI is mostly adopted in a functional and operational role—such as quiz generation and automated feedback—while its transformative potential remains largely untapped. Participants expressed concerns about increased standardization, reduced educator control over data, and the marginalization of the educational relationship. The study highlights the urgent need for a more conscious and theoretically grounded approach to evaluation design—one that integrates artificial intelligence not merely as a technical aid, but as a catalyst for critical reflection on the pedagogical purpose and meaning of evaluation.

L’intelligenza artificiale sta ridefinendo i processi valutativi nell’e-learning, aprendo nuove opportunità ma anche sollevando preoccupazioni critiche che coinvolgono direttamente il ruolo dell’instructional designer. Questo studio qualitativo esplora le percezioni, le pratiche e le rappresentazioni dei professionisti del settore rispetto all’uso dell’IA nei contesti di apprendimento digitale. Attraverso interviste semi-strutturate sono stati individuati cinque ambiti tematici principali: strumenti valutativi, modelli teorici impliciti, usi attuali dell’IA, monitoraggio delle competenze e scenari futuri. I risultati rivelano che l’IA è adottata prevalentemente in modo funzionale e operativo — ad esempio nella generazione di quiz e nella restituzione automatica del feedback — mentre il suo potenziale trasformativo resta in gran parte inesplorato. I partecipanti hanno espresso preoccupazioni riguardo all’aumento della standardizzazione, alla riduzione del controllo da parte degli educatori sui dati e alla marginalizzazione della relazione educativa. Lo studio evidenzia l’urgenza di un approccio più consapevole e teoricamente fondato alla progettazione della valutazione, che integri l’intelligenza artificiale non solo come supporto tecnico, ma come leva per una riflessione critica sul significato e sulle finalità pedagogiche della valutazione.

Rethinking evaluation in the age of AI. A qualitative study of instructional designer's insights

CAPANO, ALESSIA
2024/2025

Abstract

Artificial intelligence is reshaping evaluation processes in e-learning, raising both opportunities and critical concerns that directly affect the role of the instructional designer. This qualitative study explores the perceptions, practices, and representations of professionals in the field regarding the use of AI in digital learning contexts. Through semi-structured interviews, five key thematic areas were identified: assessment tools, implicit theoretical models, current uses of AI, competence monitoring, and future scenarios. Findings reveal that AI is mostly adopted in a functional and operational role—such as quiz generation and automated feedback—while its transformative potential remains largely untapped. Participants expressed concerns about increased standardization, reduced educator control over data, and the marginalization of the educational relationship. The study highlights the urgent need for a more conscious and theoretically grounded approach to evaluation design—one that integrates artificial intelligence not merely as a technical aid, but as a catalyst for critical reflection on the pedagogical purpose and meaning of evaluation.
2024
Rethinking evaluation in the age of AI. A qualitative study of instructional designer's insights
L’intelligenza artificiale sta ridefinendo i processi valutativi nell’e-learning, aprendo nuove opportunità ma anche sollevando preoccupazioni critiche che coinvolgono direttamente il ruolo dell’instructional designer. Questo studio qualitativo esplora le percezioni, le pratiche e le rappresentazioni dei professionisti del settore rispetto all’uso dell’IA nei contesti di apprendimento digitale. Attraverso interviste semi-strutturate sono stati individuati cinque ambiti tematici principali: strumenti valutativi, modelli teorici impliciti, usi attuali dell’IA, monitoraggio delle competenze e scenari futuri. I risultati rivelano che l’IA è adottata prevalentemente in modo funzionale e operativo — ad esempio nella generazione di quiz e nella restituzione automatica del feedback — mentre il suo potenziale trasformativo resta in gran parte inesplorato. I partecipanti hanno espresso preoccupazioni riguardo all’aumento della standardizzazione, alla riduzione del controllo da parte degli educatori sui dati e alla marginalizzazione della relazione educativa. Lo studio evidenzia l’urgenza di un approccio più consapevole e teoricamente fondato alla progettazione della valutazione, che integri l’intelligenza artificiale non solo come supporto tecnico, ma come leva per una riflessione critica sul significato e sulle finalità pedagogiche della valutazione.
AI
Evaluation
Instructional design
File in questo prodotto:
File Dimensione Formato  
Rethinking evaluation in the age of AI. A qualitative study of instructional designer's insights ​.pdf

Accesso riservato

Dimensione 1.46 MB
Formato Adobe PDF
1.46 MB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/94949