Alfred Tenore,* Stefania Basili,** Andrea Lenzi**.
*Department of Medical Education California University of Science and Medicine San Bernardino,California, USA; **Sapienza- Università di Roma.
Since 2006, the PT has been held annually. During these 11 years, the percentage of Italian medical schools that have participated has increased from 50% to approximately 96% and has seen the number of participating students increase from 3,300 to approximately 33,000.
Even though the PT was developed to respond to a new educational curriculum that introduced Problem Based Learning (PBL), it has been subsequently demonstrated that the application of a longitudinal, progressive method of assessment and evaluation is valid not only for PBL-based curricula, but also for those (still) using “traditional” curricula.
This report describes the Italian experience over the last 11 years and in particular, focuses on the results obtained from the last PT (november 2016) taken by 33,369 Italian medical students.
Parole Chiave/ Key-Words: Progress Test, 2016
Introduzione
Il “Progress Test” (PT), rappresenta un metodo di valutazione longitudinale delle conoscenze con peculiarità particolari: (a) lo studente non può prepararsi per il PT, (b) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.
Il PT rappresenta quindi un metodo per valutare l’apprendimento dello studente rispetto al dominio totale delle conoscenze richieste per un laureato ideale di un Corso di Laurea Magistrale in Medicina e Chirurgia.
Dal 2006 l’associazione “Conferenza dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia” ha iniziato ad usare questo strumento costantemente con una sempre maggiore partecipazione del corpo Docente e degli studenti. Ad oggi il Progress Test rappresenta per i Corsi di Laurea Italiani un tassello importante della formazione e della valutazione e sempre più la Commissione Esame di Stato porta avanti l’idea di poterlo inserire nel nuovo progetto della “laurea abilitante”.
Materiali, Metodi e Risultati
Brevemente, si ricorda le modalità di somministrazione e la composizione del progress test.
Il test è sostenuto in due tempi: dalle 9:00 alle 12:00 la prima parte e dalle 14:00 alle 17:00 la seconda, mediamente con 80 secondi di tempo per rispondere a ciascuna domanda.
Il test viene somministrato in tutta Italia nello stesso giorno (in genere un mercoledì dei primi 15 giorni di novembre) in contemporanea, con un sistema di controllo attento che non permette a nessun Corso di Laurea di conoscere le risposte alle domande. Inoltre le domande vengono cambiate ogni anno e trasmesse ai Corsi di laurea con tempistiche strettissime per evitare ogni tipo di possibile diffusione agli studenti. Esiste un coordinamento centrale che mantiene la segretezza del tutto e che si occupa anche di istruire tutto il personale coinvolto nelle varie sedi.
Il test è composto da 300 domande del tipo a scelta multipla (“nozionistiche” o “di ragionamento”) come quello effettuato alla McMaster University in Canada.
Le domande sono divise per ambiti disciplinari: 150 nell’area delle Scienze di Base e 150 nell’Area Clinica.
Per il risultato del test sono valutate solo le risposte corrette alle quali è attribuito un punto.
Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione. A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà.
Il 16 novembre 2016 è stato condotto l’undicesimo PT che ha visto coinvolti 47 dei 49 corsi di Laurea Magistrale in Medicina e Chirurgia (CLMMC) degli Atenei italiani (2 Atenei non hanno potuto partecipare. Uno per problemi organizzativi e l’altro per la contemporaneità con l’apertura dell’Anno Accademico).
Inoltre, per la prima volta, anche 1 dei 9 Corsi in lingua inglese ha partecipato al PT.
In totale sono stati quini 48 CLMs a partecipare.
In totale, considerando i 48 Atenei, 33369 studenti hanno partecipato in Italia al Progress test 2016. Nelle figure e tabelle che seguiranno verranno tuttavia riportati i dati su 32176 studenti appartenenti ai 47 CLMs che hanno inviato i risultati.
Il 68% dei CLMs ha somministrato il test ai 6 anni di corso. Il 15% a 5 anni, l’11% a 4 anni e il 6% a 3 anni di corso.
Come riportato in Tabella 1, si è osservato un incremento significativo (in media +30%) della partecipazione in quasi tutti gli anni di corso ad eccezione del secondo anno (ricordiamo essere l’anno del grande numero di subentri per ricorso).
La partecipazione degli studenti al test somministrato il pomeriggio rispetto a quello somministrato la mattina è stata simile con uno scarto massimo del -1.9% al terzo anno (n=148).
Nella Figura 1 è riportata la percentuale di partecipanti rispetto al numero totale di inscritti negli 11 anni di somministrazione del PT. La linea tratteggiata in orizzontale rappresenta la media dei partecipanti tra il 2006 ed il 2015.
Negli ultimi anni l’importanza data al PT non solo come strumento di valutazione ma come premialità alla carriera dello studente ha portato la partecipazione media a circa il 50%. Nel 2016 la percentuale è arrivata a sfiorare il 60%.
Tuttavia, come evidente in Figura 2, dove è disegnata la distribuzione della percentuale di studenti che hanno sostenuto il PT rispetto al numero potenziale di studenti iscritti a quell’anno di corso questa alta percentuale è sostenuta dai primi 4 anni di corso mentre scende sotto il 50% negli ultimi anni.
L’analisi dei risultati globalmente ottenuti per le scienze di base e quelle cliniche ha mostrato come riportato nelle Figure 3 e 4 un andamento paragonabile a quello della media nazionale mettendo insieme tutte le informazioni ottenute dal 2011 al 2016. Infatti, la media nazionale dal 2011 al 2015 è stata di 38 con una deviazione standard del 12.4% per le scienze di base e quella del 2016 del 42.3±13.8%. Parimenti per le scienze cliniche la media nazionale ottenuta dal 2011 al 2015 è stata di 28.2±13.6% mentre quella del 2016 è stata 30.9±12.3%.
Analisi dei Risultati per anno di corso
Nelle figure 5 (scienze di base) e 6 (scienze cliniche) sono riportate le percentuali di risposte corrette per ciascun anno di corso e poste a confronto con le percentuali ottenute negli anni 2014 e 2015. Tali anni sono stati scelti per la ampissima numerosità di partecipanti che ha superato i 20000 studenti (2014: 22955; 2015: 26899; 2016: 32176).
Per il I anno c’è un lieve aumento della performance sia nelle scienze di base (23%) che per le scienze cliniche (17.7%). Per il II anno la percentuale delle risposte giuste per le Scienze di Base è molto alta (29.4%) rispetto a quelle del 2015 (25%) e del 2014 (27.6%) mentre la percentuale per le scienze cliniche è paragonabile a quella deli anni precedenti. Nel III anno, si è osservato un aumento delle risposte esatte sia nelle scienze di base (41%) sia nelle scienze cliniche (24.2%).
Dal IV anno al VI anno per le scienze di base si è osservato un aumento della percentuale delle risposte corrette (49.2%, 53.9%, 57.4%, rispettivamente). Tale andamento non è stato osservato invece per le scienze cliniche (Figura 6).
Analisi individuale delle aree disciplinari.
Scienze di Base (Figure 7-13) Come atteso “Morfologia e Biologia” (Figura 7) presentano un aumento nei primi tre anni fino a superare il 50% (quello appreso entro la fine del terzo anno); tuttavia la percentuale di risposte esatte è in aumento anche fino al sesto anno evidenziando come la conoscenza raggiunta non viene persa ma soltanto implementata dall’ulteriore conoscenza in altre aree disciplinari. Anche la “Fisiologia” presenta lo stesso andamento (Figura 8). La “Biochimica e Biologia Molecolare” sembrano avere un aumento progressivo nei primi tre – quattro anni e poi il raggiungimento ed il mantenimento di un plateau (Figura 9).
“Microbiologia ed Immunologia” (Figura 10) mostrano un picco al terzo anno che da ragione del buon lavoro condotto al secondo anno quando si insegnano materiale ricomprese in questa area disciplinare. Anche per questa area disciplinare esiste il fenomeno della conservazione della conoscenza e addirittura un incremento fino al 59% negli ultimi anni dove la conoscenza clinica richiama la conoscenza di base.
Per la “Patologia e Fisiopatologia” (Figura 11) sembra riprodursi lo stesso fenomeno della precedente area disciplinare. L’andamento dell’area disciplinare “Farmacologia” (Figura 12) è stato sicuramente migliore di quello degli scorsi anni raggiungendo e superando al quarto anno il 50%. Anche per le “Scienze del Comportamento” si è osservato questo anno un progressivo incremento delle conoscenze che cresce anno per anno (Figura 13).
Per le scienze di base, quindi, abbiamo nel 2016 una buona riproducibilità nella percentuale delle risposte giuste e quest’anno un notevole miglioramento per alcuni ambiti disciplinari.
Scienze cliniche (Figure 14-19) Analizzando i dati riportati nelle figure è possibile osservare come per la disciplina di “Ostetricia e Ginecologia” (Figura 14) vi sia una progressione graduale che progressivamente sale fino a raggiungere una percentuale superiore al 50% al sesto anno di corso. Per la disciplina “Pediatria” (Figura 15) si assiste ad un progressivo miglioramento della percentuale di risposte esatte anche se il massimo raggiunto è poco più del 40%; è tuttavia da sottolineare che tale disciplina viene insegnata nel semestre successivo a quello in cui viene somministrato il PT al sesto anno.
Per la “Medicina Interna e Specialità Mediche”, la “Chirurgia Generale e Specialità Chirurgiche” e la “Medicina Preventiva” si assiste sicuramente ad un incremento delle conoscenze dopo i primi tre anni di corso ma senza il raggiungimento di una percentuale attesa di risposte esatte (Figure 16, 17, 18) La disciplina “Anatomia Patologica”, sempre andata molto bene negli anni scorsi, quest’anno resta una delle poche che, nei vari anni raggiunge quasi il 60 % in media delle risposte esatte.
Le figure 20 e 21 riportano l’analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC.
Nel range medio c’è una buona percentuale di CLMs dimostrando che dopo 11 anni di lavoro l’associazione Conferenza Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia è riuscita a raggiungere una altissima numerosità di partecipanti ma anche ad utilizzare il PT come un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea e a modulare l’insegnamenti fino a raggiungere una buona omogeneità nei curricula italiani.
Si ringrazia Chiara Bresciani per il grande aiuto nell’editing del manoscritto.
Tenore A., Basili S., Lenzi A., Il Progress Test 2016, Medicina e Chirurgia, 75: 3386-3390, 2017. DOI: 10.4487/medchir2017-75-2