Il Progress Test (PT) è un metodo di valutazione lon-gitudinale delle conoscenze che è stato effettuato ogni anno dal 2006 in numerosi Corsi di Laurea italiani. Dalla prima somministrazione la percentuale di Corsi parte-cipanti è aumentata progressivamente – dal 50 al 94% circa – e il numero di studenti partecipanti è cresciuto da 3300 a oltre 32000. Il PT ha risposto alla necessità di valutare gli studenti in un contesto di Problem-Based Learning (PBL); ad oggi, il PT ha anche dimostrato la sua utilità come metodo di valutazione longitudinale e progressiva anche nei curricula “tradizionali”. Questo report riporta i risultati dell’ultimo PT (novembre 2017) cui hanno partecipato 32120 studenti.
Parole Chiave/ Key-Words: Progress Test, 2017
The Progress Test (PT) is a longitudinal knowledge evalua-tion method which has been performed every year since 2006 in most Italian medical schools. Since the PT was first administered, the percentage of schools involved in the PT has increased from 50% to approximately 94% and has seen the number of participating students increase from 3,300 to more than 32,000. The PT answered the need for student assessment in Problem-Based Learning (PBL); to the present date, the PT has proven useful as a longitudinal, progressive method of assessment and evaluation for traditional curri-cula as well.This report focuses on the results obtained from the last PT (november 2017) taken by 32,120 Italian medical students.
Introduzione
Introdotto nel 2006 nelle Facoltà di Medicina italiane, il “Progress Test” (PT), rappresenta un metodo di valutazione longitudinale delle conoscenze che si distingue dalle “normali” prove di valutazione per due caratteristiche essenziali: (a) lo studente non può prepararsi per il PT, (b) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.
Per queste sue caratteristiche il PT appare come il test più idoneo a valutare l’apprendimento rispetto alla summa delle conoscenze richieste per un laureato ideale di un Corso di Laurea Magistrale in Medicina e Chirurgia.
Il PT è stato introdotto in un numero sempre crescente di Corsi di Laura in Medicina e Chirurgia grazie agli sforzi dell’associazione “Conferenza dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia” a partire dal 2006. Similmente a come è cresciuto il tasso di adesione, allo stesso modo il ruolo come metodo di valutazione “universale” è andato a definirsi in maniera più precisa, tanto da essere considerato come uno degli esempi dagli estensori del DM relativo al nuovo esame per la “laurea abilitante”.
Materiali, Metodi e Risultati
Il PT viene somministrato in tutti i Corsi contempor-neamente – solitamente in un mercoledì delle prime due settimane di novembre.
Le due parti del test – Scienze di Base e Scienze Cliniche – sono sostenute in tempi diversi: la prima parte dalle 9:00 alle 12:00 e la seconda dalle 14:00 alle 17:00. In totale, il PT consta di 300 domande (150 nell’area delle Scien-ze di Base e 150 nell’area delle Scienze Cliniche), con una media di circa 80 secondi per domanda. Le domande, tutte a scelta multipla, affrontano obiettivi didattici sia “nozionistici” che “di ragionamento”, analogamente ad altri test come quello della McMaster University in Canada. Per ogni domanda è prevista una sola risposta corretta; ad ogni risposta correttamente è assegnato un punto.
Le domande vengono cambiate ogni anno, e trasmesse ai Corsi di Laurea poco prima del PT di modo da limitare le possibilità di diffusione agli studenti. Il coordinamento centrale designa il personale coinvolto nelle varie sedi, al fine di garantire un regolare svolgimento della prova in tutte le sedi interessate.
Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione. A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà.
Il 15 novembre 2017 è stato condotto il dodicesimo PT che ha visto coinvolti 46 dei 49 corsi di Laurea Magistrale in Medicina e Chirurgia (CLMMC) degli Atenei italiani.
A questi, si aggiungono anche 2 dei 10 Corsi in lingua inglese sul territorio italiano.
Complessivamente hanno quindi partecipato al Progress test 2017, 48 Corsi di Laurea, per un totale di 32120 studenti. Nelle figure e tabelle che seguiranno verranno tuttavia riportati i dati su 31623 studenti appartenenti ai 46 CLMs che hanno inviato i risultati.
Il 72% dei CLMs ha somministrato il test ai 6 anni di corso. Il 13% a 5 anni, il 7% a 4 anni e l’8% a 3 o meno anni di corso.
Come riportato in Tabella 1, a confronto con il PT 2016, nel 2017 si è riscontrato un aumento significativo a carico del IV anno ed un analogo decremento a carico del III anno, verosimilmente come conseguenze dell’ele-vato numero di studenti subentrati per ricorso e afferenti al III anno nell’anno accademico precedente. Cambia-menti di minor entità sono stati inoltre osservati in tutti gli anni, con lievi incrementi fra il 2% e il 6% in tutti gli anni ad eccezione del primo anno, caratterizzato da una diminuzione di circa il 4% rispetto al PT 2016.
Nella Figura 1 è riportata la percentuale di parteci-panti rispetto al numero totale di inscritti negli 11 anni di somministrazione del PT. La linea tratteggiata in oriz-zontale rappresenta la partecipazione media tra il 2006 ed il 2017.
La partecipazione al PT è andata aumentando nel corso degli anni – certamente per una maggiore consa-pevolezza degli studenti, ma anche e soprattutto come premialità alla carriera dello studente. Rispetto al numero potenziale degli studenti iscritti ai diversi Corsi di Laurea, dal 2012 si è sempre registrata una partecipazione supe-riore al 50%, che nel 2016 e 2017 ha superato il 60%.
Tuttavia, come evidente in Figura 2, la partecipazio-ne è inversamente proporzionale all’avanzamento nella carriera degli studenti: la partecipazione è difatti massi-ma nei primi anni di corso e si riduce progressivamente negli anni.
L’analisi dei risultati globalmente ottenuti per le scien-ze di base e quelle cliniche ha mostrato un andamento paragonabile a quello della media nazionale mettendo insieme tutte le informazioni ottenute dal 2011 al 2017.
Analisi dei Risultati per anno di corso
Si riscontra per il I anno un lieve calo della performance in entrambe le aree (Scienze di Base, 22.4%; Scienze Cliniche, 17.5%). Per il II anno la percentuale delle risposte giuste per le Scienze di Base è lievemente ridotta (26.7%) rispetto al 2016 (29.4%), tenendosi in linea con quelle del 2015 (25%) e del 2014 (27.6%), mentre la percentuale per le scienze cliniche (19.7%) è paragonabile a quella degli anni precedenti (20.3 nel 2015 e 20.4 nel 2016). Nel III anno, si è osservato un calo di quasi 5% nelle scienze di base (dal 41% del 2016 al 36.4% del 2017), mentre il trend positivo per le scienze cliniche si è mantenuto (24.5%).
Dal IV anno al VI anno, a confronto con il 2016, per le scienze di base si è osservato un calo della percentuale delle risposte corrette (2017: 44.0%, 47.8% e 51.4% rispettivamente; 2016: 49.2%, 53.9%, 57.4%, rispettiva-mente). Tale andamento non è stato osservato invece per le scienze cliniche.
Analisi individuale delle aree disciplinari.
Scienze di Base
Come atteso l’area di “Morfologia e Biologia” presenta un aumento nei primi tre anni fino a superare il 50% al terzo anno; tuttavia la percentuale di risposte esatte è in aumento anche fino al sesto anno, suggerendo come gli studenti non solo non perdano memoria di quanto studiato, ma anzi riescano ad ampliare il loro bagaglio di conoscenze grazie allo studio di altre aree disciplinari.
Per il 2017, le aree di “Fisiologia” e “Biochimica e Biologia Molecolare” sembrano andare incontro un aumento progressivo nel primo triennio, per poi raggiungere e mantenere un “plateau” tra il quarto ed il sesto anno.
La percentuale di risposte corrette per l’area di “Microbiologia ed Immunologia” raggiunge un picco al terzo anno, a riprova del lavoro condotto al secondo anno – quando si insegnano materiale ricomprese in questa area disciplinare – e arriva ad un plateau negli ultimi due anni, come riprova della conservazione della conoscenza. Per la “Patologia e Fisiopatologia” la percentuale di risposte corrette aumenta progressivamente in tutti gli anni di corso, a indicazione di una sempre maggiore consapevolezza dei meccanismi fisiologici sottesi alle patologie. L’andamento dell’area disciplinare “Farmacologia” è stato un costante crescendo, con un aumento più marcato fra il quarto ed il quinto anno, compatibile con i tempi del relativo esame. Anche per le “Scienze del Comportamento” si è osservato questo anno un pro-gressivo incremento delle conoscenze che cresce anno per anno, sebbene con un andamento meno marcato.
Scienze cliniche
Per le aree di “Ostetricia e Ginecologia” e “Pediatria” è facilmente osservabile una progressione graduale che progressivamente sale fino a raggiungere una percentuale lievemente superiore al 50% al sesto anno di corso per ginecologia ed ostetricia e di poco superiore al 42% per pediatria. Questo dato appare in linea con i tempi della didattica, dal momento che gli insegnamenti relativi si trovano appunto al sesto anno; resta tuttavia degno di nota il “gap” fra i due insegnamenti.
Per la “Medicina Interna e Specialità Mediche”, la “Chirurgia Generale e Specialità Chirurgiche” e la “Sanità Pubblica” si assiste sicuramente ad un incremento delle conoscenze dopo i primi tre anni di corso.
La disciplina “Anatomia Patologica”, come facilmente immaginabile, presenta un drastico aumento nel secondo triennio, subito dopo o durante lo studio della materia: tuttavia, a confronto con i precedenti PT, la percentuale di risposte corrette si è notevolmente ridotta, raggiungendo il 41.6% e il 51% rispettivamente per il V e VI anno nel 2017 a fronte del 60.5% e 67.5% per gli stessi anni di corso nel 2016.
Le figure 3 e 4 riportano l’analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC. Numerosi Corsi di Laurea Magistrale in Medicina e Chirurgia si collocano nel range medio: questo risultato è la prova dell’impegno della Conferenza dei Presidenti, ma allo stesso tempo è un chiaro indizio del grado di affidabilità del PT nel valutare le conoscenze “globali” acquisite e mantenute dagli studenti nel corso del loro percorso di studi.
Tenore A., Basili S., Sansone A., Lenzi A., Il Progress Test 2017, Medicina e Chirurgia, 79, 3530-3533, 2018. DOI: 10.4487/medchir2018-79-5
Alfred Tenore, Department of Medical Education California University of Science and Medicine San Bernardino, California, USA
Stefania Basili, Sapienza Università di Roma
Andrea Sansone, Sapienza Università di Roma
Andrea Lenzi, Sapienza Università di Roma