The effective collaboration between ANVUR and CPPCLMM & C made it possible to administer the disciplinary Skills Test (TECO) in the spring of 2021 to Italian students of the CLM in Medicine and Surgery.
The article shows the participation data for this first edition.
Nella settimana dal 19 al 23 aprile di quest’anno si è svolto per la prima volta il Test sulle Competenze (TECO) disciplinari per i CLM in Medicina e chirurgia, nell’ambito del progetto TECO della Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR). Il test si è svolto completamente per via telematica, in relazione alle restrizioni dovute alla pandemia COVID-19, con la collaborazione di CINECA e si è avvalso della esperienza maturata dai corsi di laurea in medicina italiani nei 13 anni di vita del progress test, organizzato dalla Conferenza permanente dei Presidenti di corso di laurea magistrale in Medicina e chirurgia (CPPCLMM&C), che negli anni ha visto coinvolta la quasi totalità dei corsi italiani (Tenore et al., 2015, 2017, 2018; Recchia et al., 2019; Recchia e Moncharmont, 2019).
Il progetto TECO è parte integrante del sistema Autovalutazione, Valutazione periodica, Accreditamento (AVA) e prevede sia la definizione che la somministrazione di test in grado di rilevare le competenze trasversali (TECO-T) e disciplinari (TECO-D) acquisite dagli studenti durante il corso di studi.
La prova TECO-T è realizzata da ANVUR con la collaborazione di gruppi di esperti costituiti principalmente da docenti universitari, mentre la definizione del TECO-D, che rileva le specifiche conoscenze competenze disciplinari, in coerenza con i primi due Descrittori di Dublino, è realizzata da gruppi disciplinari (denominati Gruppi di lavoro) costituiti in seno ad ANVUR.
Il Gruppo di Lavoro (GdL) TECO-D/Medicina (definito per brevità TECO-M) è stato Istituito con delibera no. 12/2021 del Consiglio Direttivo dell’ANVUR del 21 gennaio 2021 ed è costituito da Fabrizio Consorti, Giuseppe Familiari, Pietro Gallo, Marco Krengli, Bruno Moncharmont, Maria Luigia Randi, Maria Grazia Strepparava e Linda Vignozzi e rimarrà in carica fino al 31 luglio 2022. Fanno parte del gruppo anche le dottoresse Morena Sabella e Maria Rita Infurna di ANVUR, con funzioni di coordinamento.
Il GdL, insediatosi alla fine del mese di gennaio, ha svolto le prime attività previste dal mandato ricevuto, concernenti la definizione dei contenuti “core” declinati in obiettivi formativi finali e specifici, la definizione della prova TECO-De la gestione della somministrazione del TECO-D definito. Questa attività preparatoria è stata inoltre presentata e discussa nell’articolo di Fabrizio Consorti et al., pubblicato in questo stesso numero, che è stato inviato a tutti i partecipanti (tramite i presidenti di CL) nelle settimane precedenti la prova (Consorti, 2021).
Ulteriore compito del GdL sarà quello di gestire la restituzione dei risultati ai singoli CdS quando i dati saranno resi disponibili dal CINECA.
IL Test
Il GdL ha predisposto 80 quesiti a scelta multipla con una sola risposta valida (+ 4 distrattori) con riferimento ai 77 problemi clinici essenziali (PCE) definiti dalla Conferenza (Consorti, 2021). Per ogni quesito è tracciato il riferimento ad un singolo PCE e ad eventuali richiami per discipline di base. Il senso di questi richiami è di valutare anche l’acquisizione delle conoscenze di base, di volta in volta necessarie alla soluzione dei quesiti clinici. I quesiti sono stati organizzati in un database che consentirà, per ciascun quesito, di conservare anche i dati docimologici.
Il test è stato somministrato, insieme al TECO-T, agli studenti del VI anno di corso dei CLM in Medicina e chirurgia nei giorni 19 e 20 aprile e del III anno di corso nei giorni 21 e 22 aprile; gli studenti hanno avuto a disposizione 50 minuti per rispondere a TECO-T e 120 minuti per risolvere i problemi clinici relativi al TECO-M. Per la prova è stata utilizzata una piattaforma informatica allestita dal CINE- CA. In ogni sede la prova è stata coordinata da un referente di sede con cui hanno collaborato i tutor di aula (in totale 296 tutor).
La partecipazione
Hanno aderito alla prova 41 CLM, tra cui anche 7 corsi in lingua inglese. Dei 73 corsi LM-41 attivati nell’aa 2020/21, 62 hanno attivo il III anno e solo 60 il VI anno. In tabella sono riportati i dati di adesione.
Per 34 CLM hanno partecipato gli studenti di entrambi gli anni, per 5 solo del terzo anno e per 2 solo del sesto anno. Inoltre, in via sperimentale, in tre CLM hanno partecipato gli studenti del quarto anno ed in uno anche quelli del quinto. Hanno partecipato in percentuale maggiore gli studenti del III anno [3166 studenti (45,27% del totale)] rispetto a quelli del VI [2498 studenti del VI anno (30,03% del totale)]. Molto variabile, comunque, è stata la percentuale di partecipazione degli studenti iscritti all’anno nelle diverse sedi, come si può rilevare dai grafici presentati in fig. 1.
Da una indagine contestuale alla richiesta di adesione alla prova è stato possibile rilevare che in 28 dei 41 CLM aderenti era concessa una forma di premialità agli studenti per la partecipazione al TECO. Per 20 di questi la premialità consisteva nella attribuzione di CFU nella carriera nell’ambito delle attività didattiche a scelta dello studente, mentre negli altri 8 consisteva in un bonus sul calcolo del voto della prova finale (voto di laurea). Dall’istogramma presentato in fig. 2 si può rilevare come la aspettativa di una premialità influisca positivamente sulla percentuale di partecipazione degli studenti alla prova.
Conclusioni
La lunga esperienza italiana sull’uso del “progress testing”, al pari delle numerose esperienze internazionali, conferma ulteriormente l’importanza di tale metodo di verifica longitudinale come efficace mezzo atto a censire le competenze degli Studenti di Medicina e Chirurgia (Schuwirth e Van Der Vleuten, 2012; Tenore et al., 2015, 2017, 2018; Recchia et al., 2019; Recchia e Moncharmont, 2019;Consorti, 2021).
Deve anche essere ricordato come l’uso e la sperimentazione di queste metodologie verticali di verifica delle competenze, tra cui il nuovo assetto del TECO-M, costituisca un importante mezzo atto a favorire l’innovazione delle metodologie didattiche utili a far emergere la pratica della “competency-based education” (Van Der Vleuten e Schuwirth, 2019).
Al momento non sono ancora disponibili risultati del test per avviare un’analisi di sistema, con il calcolo degli indici docimologi per ciascun quesito e per restituire alle sedi i risultati in relazione ai singoli PCE. Saranno questi i prossimi impegni del GdL che, sulla base di questa analisi, potrà valutare criticità e identificare aspetti migliorabili nella formulazione dei quesiti o nella organizzazione per le prove degli anni successivi.
Le modalità di svolgimento della prova si sono dimostrate perfettamente sostenibili da tutte le sedi coinvolte, confermando la validità dello strumento informatico messo a disposizione da CINECA.
Sarebbe auspicabile, in considerazione dell’effetto osservato del bonus sulla partecipazione, di aprire nell’ambito della CPPCLMM&C un confronto finalizzato ad individuare modalità condivise per erogare agli studenti una premialità per la partecipazione a questo tipo di verifica. Sarebbe comunque auspicabile prevedere per i prossimi anni un maggior coinvolgimento di tutte le sedi nella predisposizione dei quesiti, cosa che quest’anno non è stato possibile per i tempi non lunghi che si sono avuti a disposizione per consentire la somministrazione del test nel corrente anno accademico.
Figura 1 – Distribuzione in fasce percentuali degli studenti partecipanti.
Il numero intero è il numero di sedi nella fascia.
La fattiva collaborazione tra ANVUR e CPPCLMM&C ha reso possibile la somministrazione nella primavera del 2021 del Test sulle Competenze (TECO) disciplinari agli studenti dei CLM in Medicina e chirurgia italiani.
Nell’articolo sono riportati i dati di partecipazione a questa prima edizione.
Consorti F. Genesi e sviluppo del Test sulle Competenze
(TECO) dell’ANVUR: applicazione ai Corsi di Laurea in Medicina. Journal of Italian Medical Education 86, 2021.
Recchia L, Moncharmont B, Gallo P. Dal Progress Test al Training Test: una prima elaborazione dei dati. Journal of Italian
Medical Education 81: 3594-3600, 2019.
Recchia L, Moncharmont B. Dal Progress Test al Training
Test: analisi dei risultati finali 2018. Journal of Italian Medical Education 82: 3650-3654, 2019.
Schuwirt LWT, Van Der Vleuten CPM. The use of progress
testing. Perspectives in Medical Education 1: 24-30, 2012.
Tenore A, Basili S, Lenzi A. Il Progress Test dal Novembre
2006 al Novembre 2014. Journal of Italian Medical Education 68: 3089-3093, 2015.
Tenore A, Basili S, Lenzi A. Il Progress Test 2016. Journal of
Italian Medical Education 75: 3386-3390, 2017.
Tenore A, Basili S, Sansone A, Lenzi A. Il Progress Test 2017. Journal of Italian Medical Education 79: 3530-3533, 2018.
Van Der Vleuten CPM, Schuwirt LWT. Assessment in the context of problem-based learning. Advances in Health Sciences
Education 24: 903-914, 2019.
Bruno Moncharmont, Fabrizio Consorti, Giuseppe Familiari, Stefania Basili
Università degli studi di Roma “La Sapienza”
Pietro Gallo, Marco Krengli
Università degli studi del Piemonte orientale
Maria Luigia Randi
Università degli studi di Padova
Maria Grazia Strepparava
Università degli studi di Milano-Bicocca
Linda Vignozzi
Università degli studi di Firenze
Morena Sabella, Maria Rita Infurna
Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca