The Progress Test (PT) is a particular type of examination that recognizes particular and distinctive characteristics such as: (a) students cannot specifically study for the test but can only prepare to take the exam by continuously following and studying their individual courses on a day- by-day basis and (b) the PT covers subject matter that spans the entire 6 years of study. These two characteristics allow for the opportunity (a) to assess students’ accumulated knowledge at any particular time in the course of their studies, and (b) to evaluate their analytical and reflective abilities. The use of this powerful tool goes beyond the simple evaluation of a single medical-related discipline or subject; rather, it concentrates on the overall objectives of the entire 6 year medical curriculum by focusing on how knowledge is integrated and used in an holistic manner.
In 2013, 17,486 medical students from 37 Italian Medical Schools took the PT for the eight year in a row. The students who participated spanned the full 6 years of the Italian medical curriculum. As usual, the exam was administered in the month of November which is close to the beginning of the academic year. The test was composed of 300 questions equally divided between the Basic and Clinical Sciences, with each section administered over a 3-hour period for a total of 6 hours of examination time.
An analysis of the current results can best be understood by comparing them with those of previous PT’s. The data presented tend to give an overall idea of both the national as well as local outcomes. Although the results may tend to be thought of as reflecting the progressive acquisition of knowledge and the learning outcomes of our students, underneath it all, they may in reality, be reflecting our teaching methods and content delivery. Data obtained from consecutive PT’s have been very useful to better understand the principal objective of the PT which is to continuously improve both the learning abilities of our students, as well as the teaching qualities of our professors.
Introduzione
Il 13 novembre 2013 è stato condotto in molte Facoltà di Medicina e Chirurgia Italiane l’ottavo Progress Test (PT). Il PT rappresenta un metodo essenziale per la valutazione del miglioramento e del mantenimento, durante i sei anni di corso, delle conoscenze che porteranno poi al raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.
Il PT com’è noto, è adesso incorporato nel curriculum medico di diverse Università americane ed europee. Una delle sue caratteristiche peculiari è rappresentata dal fatto che lo studente non può “prepararsi per il PT”, nel senso che non ha indicazioni preliminari sulle domande che saranno somministrate, ma conosce soltanto gli ambiti disciplinari sui quali saranno sviluppate le domande. Altra caratteristica peculiare è quella che il risultato e la valutazione del PT sono basati solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.
Negli ultimi otto anni nelle Facoltà di Medicina e Chirurgia italiane, il PT, come riportato nella Tab. 1, è stato sempre svolto nel mese di novembre.
Nel 2006 parteciparono il 55% delle Facoltà in Medicina e Chirurgia (25 dei CLMMC attivi); nel 2013, ottavo anno di PT, il 73% (37 dei 51 CLMMC attivi).
Il quarantotto CLMMC (il 94% del totale) avevano inizialmente aderito, ma ben 11, per motivi organizzativi, non hanno potuto partecipare.
E’ da segnalare che nel corso di questi otto anni di osservazione soltanto un Corso di Laurea non ha mai partecipato al PT.
Metodi e Risultati
Come negli scorsi anni il PT è stato composto da 300 domande a scelta multipla, con una sola risposta giusta sulle cinque proposte. Le prime 150 domande relative alle Scienze di base sono somministrate in tre ore nel corso della mattina del giorno prescelto; le successive 150, inerenti le Scienze cliniche, nel pomeriggio.
Nella Tab. 2, viene riportato il numero delle domande per aree disciplinari.
Coinvolgimento dei diversi anni di corso
Il 73% dei corsi di Laurea ha somministrato il PT in tutti i sei anni di corso.
La Fig. 1 riporta il numero di anni di corso coinvolti negli otto anni in cui si è svolta l’esperienza.
Fig. 1
Come si può notare dal 2006 ad oggi si è osservato un coinvolgimento sempre più numeroso di tutti gli anni di corso, con un aumento significativo (+17%) soprattutto al primo anno.
In particolare, dei 37 CLMMC, 28 hanno condotto il test a 1° anno, 34 al 2° anno, 35 al 3°, 35 al 4°, 36 al 5° e 35 al 6° anno per un totale di 203 anni accademici. E’ evidente come quasi tutti i corsi tranne due abbiamo somministrato il PT dal 3° al 6° anno consentendo una elaborazione interna del PT e non solo nazionale.
Nonostante la mancanza di 11 CLMMC, inizialmente aderenti, la numerosità totale degli studenti partecipanti è stata simile a quella registrata nel 2012 (17486 vs. 18687, -6%) quando i CLMMC partecipanti erano 41.
La partecipazione al Progress test, che è attualmente su base volontaria in quasi tutte le sedi, dimostra incrementi in anni di corso peculiari. Infatti proprio all’inizio del percorso di studi, ossia al primo anno, si è osservato (Fig. 2) un incremento del 9%, rispetto all’anno precedente ed alla fine del percorso, ossia al 6° anno, un incremento ancora più ragguardevole.
Fig. 2
Da questo si evince come pian piano i nostri studenti comincino ad avvertire l’importanza di questa sperimentazione. Se si considera che nell’esercizio 2006, si poteva contare su una popolazione di poco più di 3000 studenti, nell’ottavo anno di esercizio tale popolazione si è quasi sestuplicata.
Infatti, come si osserva nella fig. 3, la partecipazione degli studenti rispetto a quella attesa è stata, in questo ultimo anno di esercizio intorno al 54%.
Fig. 3
Fig. 4
La figura 4 confronta l’esercizio 2012 con quello del 2013 mostrando che anno dopo anno si conferma che la partecipazione si aggira sempre tra il 50 ed il 60% per gli anni centrali del corso di studi e si intensifica nel primo e nel sesto anno.
Analisi dei risultati per anno di corso
Nella figura 5 è riportato il numero dei partecipanti alle due tipologie di esame (Scienze di Base e Scienze Cliniche).
Fig. 5
Quest’anno, si è osservata una leggera tendenza alla maggiore partecipazione ai test concernenti le Scienze di Base anche se con minime differenze.
Questo potrebbe riflettere la difficoltà di una piccola percentuale di studenti a sostenere nella stessa giornata, il test relativo alle Scienze di base al mattino e quello delle Scienze cliniche nel pomeriggio.
Considerando la media della percentuale delle risposte corrette di tutti gli anni (Fig. 6) e confrontandola con quelle ottenute nel 2012 e nel 2011 (anno quest’ultimo in cui non fu coinvolto il primo anno di corso), si osserva un incremento della media nel 2013 rispetto al 2012 e una sovrapposizione di dati rispetto al 2011.
Fig. 6
Fig. 7
Prendendo in considerazione il dettaglio per singolo anno di corso (Fig. 7, barre in bianco) in relazione alle Scienze di Base, il PT 2013 ci ha mostrato che per il primo anno la media delle risposte giuste è simile a quella del 2012, mentre dal II al VI anno è sempre più alta del 4-6% rispetto a quella rilevata nel 2012.
Inoltre, guardando il grafico riportato nella figura 8, è evidente la progressione del numero delle risposte giuste dal primo al sesto anno di corso a riprova della capacità di mantenimento ed incremento negli anni delle nozioni di base.
Fig. 8
Per quanto riguarda invece le Scienze Cliniche, si è messo in evidenza un deciso divario rispetto al 2012, con una media del 22,5% (DS: 9,3%) rispetto al 31.6% (DS: 15.6%) del 2012.
Questo comportamento, che appare evidente nella figura 9, è presente in tutti gli anni di corso analizzati, seppur esista un incremento medio passando dal triennio pre-clinico a quello clinico.
Fig. 9
Al momento della stesura di questo articolo non sono attualmente disponibili i dati relativi alle percentuali delle risposte esatte, stratificate per aree disciplinari nei sei anni del corso di laurea.
Analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC
L’analisi molto puntiforme, relativa alla valutazione delle competenze al sesto anno è riportata nella figura 10.
Fig. 10
I vari CLMMC sono indicati con un numero progressivo per cui è impossibile individuarli. Tuttavia, com’è estrapolabile dalla figura, comportamenti particolarmente anomali sono presenti soltanto in alcuni casi. Vi è poi da segnalare che vi è un corso di laurea (n° 7) nel quale la media delle risposte sia delle scienze di base che di quelle cliniche è bassissima rispetto a quella nazionale riscontrata al sesto anno. Vi sono infine corsi di laurea, dove la media delle risposte alle scienze di base supera notevolmente la deviazione standard.
Dati più dettagliati su questi otto anni di sperimentazione, presentati ad una Special Conference del Congresso internazionale dell’AMEE, tenutosi a Milano dal 30 Agosto al 3 settembre, verranno commentati successivamente da Alfred Tenore.
Conclusioni
Il PT 2013 ha mostrato un aumento significativo del numero di studenti, più evidente per quelli iscritti al primo e al sesto anno di corso, malgrado l’assenza, all’ultimo momento, per problemi organizzativi, di ben 11 corsi di laurea.
Questo probabilmente è dovuto alla capacità degli studenti e dei docenti di aver finalmente compreso il significato del PT.
Siamo quindi fiduciosi che anche nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, il PT possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea. Partecipare al PT è per lo studente uno strumento per migliorare la propria formazione e per il Corso di Laurea un mezzo per migliorare l’iter educativo (assessment drives curricular improvements).
Dopo otto anni di applicazione la CPPCLM&C è fiduciosa che il PT, nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, rappresenti un test affidabile per la valutazione delle conoscenze acquisite durante il corso di laurea, tanto che nel 2010 ha proposto al MIUR che, a valle dei sei anni, l’ultimo PT divenga una delle due tappe dell’esame di abilitazione (settimo PT), accanto alla valutazione delle abilità professionali.
Tale ipotesi è divenuta una realtà (una Commissione ad hoc è stata costituita) ed anche una necessità, alla luce dei ben noti risultati dell’esame di abilitazione che ogni anno non riescono a discriminare la preparazione dei nostri laureati con percentuali di abilitati che si avvicinano al cento per cento dei valutati.
1) Mennin SP, Kalishman S. (1998). Student assessment. Acad Med.;73(9 Suppl):S46-54.
2) Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students. Med Educ.;17: 165-171.
3) Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane. Med Chir 49; 2123-2130.
4) Recchia L, Moncharmont B. Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51, 2237-2242.
Tenore A., Basili S., Lenzi A., Il Progress Test 2013, Medicina e Chirurgia, 64: 2893-2900, 2014. DOI: 10.4487/medchir2014-64-4