A Progress Test (PT), currently incorporated in different American and European Medical Schools, is a longitudinal, educational assessment tool designed to give feedback to students regarding their progressive acquisition of cognitive knowledge during a learning process. It is a written knowledge exam (usually involving multiple choice questions) that is usually administered to all students, at the same time and at regular intervals throughout the entire academic program. The peculiarities of a PT is, first, that students cannot specifically study for it and thus their results reflect the knowledge they have been able to acquire for the specific year of study, and second, that it samples the complete knowledge domain expected of new graduates on completion of their course, regardless of the year level of the student.
The differences between students’ knowledge levels are reflected in the test scores; the further a student has progressed in the curriculum the higher the scores. As a result, these scores provide repeated longitudinal measurements, curriculum-independent, of the objectives (in knowledge) of the entire program.
In 2012, 80% of the Italian Medical Schools administered the seventh PT to 18,687 students enrolled throughout the 6 years of medical training. Three hundred questions, equally divided into two groups, Basic Sciences and Clinical Sciences, were administered over a 6-hour period divided into a 3-hour morning (Basic Sciences) and afternoon (Clinical Sciences) session. The information acquired from Progress Tests is useful not only to better comprehend the progress of students but also to understand teaching programs/methods used in order to fulfill the objectives of Italian Medical Schools to introduce appropriate learning and teaching interventions aimed at continuously improving the quality of the Italian medical graduate.
Introduzione
Le Facoltà di Medicina e Chirurgia italiane dall’Anno Accademico 2006/2007 hanno incluso il Progress Test tra gli strumenti indispensabili per la valutazione longitudinale delle conoscenze degli studenti(1-4). Il Progress Test (PT), già incorporato nel curriculum medico di diverse Università americane ed europee, ha delle caratteristiche peculiari che trovano i loro capisaldi nel fatto che (i) lo studente non può prepararsi specificamente per il PT e che (ii) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.
La somministrazione del PT nei primi 20 giorni del mese di novembre a tutti gli studenti dei 6 anni di corso permette di poter valutare il mantenimento delle conoscenze che sono il viatico per il raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.
Come ogni anno, anche nel 2012, è stato condotto, su iniziativa della Conferenza dei Presidenti di Corso di Laurea in Medicina e Chirurgia, il settimo PT che si è svolto il 14 Novembre 2012.
Metodi e Risultati
Come negli scorsi anni il PT è stato composto di 300 domande a scelta multipla. Le prime 150 domande riguardano le scienze di base e sono somministrate in 3 ore nel corso della mattina. Le successive 150 domande, somministrate nel pomeriggio, sono inerenti le scienze cliniche. Nella Tabella 1 è riportata la numerosità delle domande per aree disciplinari. Per ogni domanda esiste una sola risposta giusta ed ad ogni risposta giusta viene assegnato un punto. Non sono valutate le risposte sbagliate.
Nel 2012, l’80% dei corsi di Laurea ha partecipato al PT.
Di seguito verranno riportati i risultati ottenuti nei 41 corsi partecipanti.
Al settimo progress test, 8 corsi di laurea non hanno potuto partecipare per motivi strettamente tecnici dovuti soprattutto alla difficoltà di reperire una idonea organizzazione per l’ottimo svolgimento del PT. Da segnalare, tuttavia, che nel corso di questi anni solo 2 sedi non hanno mai partecipato al PT (Università di Pavia ed Università di Varese).
La difficoltà tecnica di somministrare il PT è dovuta soprattutto alla assoluta necessità di avere personale addestrato per l’organizzazione, la disponibilità di aule e di supporto elettronico e per la correzione dei compiti. È da segnalare, tuttavia, che moltissime sedi provvedono da sempre alla correzione manuale con griglia degli elaborati e che questa incombenza è spesso svolta dai Docenti stessi.
Come ogni anno, su delega della Conferenza, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT. La considerazione dell’utilità di tale metodologia di valutazione è sempre più diffusa tra i Docenti ed anche quest’anno si è osservato un aumento delle sedi che hanno deciso di somministrare il Test a più anni di corso. In totale, sono stati coinvolti 194 dei 246 (79%) anni accademici nelle quarantuno sedi partecipanti.
Come riportato nella Fig. 1, ben il 56% dei corsi di Laurea ha somministrato il PT ai 6 anni di corso. Il 22% dei Corsi di Laurea ha coinvolto almeno 5 anni di corso, il 19.5% ha coinvolto almeno 2 anni di corso.
Nonostante la mancanza, rispetto agli anni precedenti, di 8 Corsi di Laurea, la numerosità totale degli studenti partecipanti è stata tra la più alta di questi sette anni di sperimentazione (Fig. 2). La percezione dell’importanza del PT da parte dei Presidenti e dei Docenti partecipanti al PT è stata trasferita in maniera significativa agli studenti considerando un incremento del 22% nella popolazione totale di studenti partecipanti tra il 2010 e 2012. Tale considerazione è estrapolabile soprattutto dal notevole risultato ottenuto negli ultimi anni di corso che comprendono studenti che hanno effettuato il PT già dal loro primo anno e che sono consapevoli della sua importanza e significato.
Rispetto al 2011, c’è stato un incremento del 16% al 2° anno ma solo del 2% ed 1% al 3° e 4° anno rispettivamente. L’aumento maggiore si è verificato al 5° anno (+29%) ed al 6° anno (+24%).
Se si considera che dopo il primo anno di sperimentazione, ossia nell’esercizio 2007, si poteva contare su una popolazione di studenti, iscritti dal 1° al 6° anno di Medicina, di 7930, nel settimo anno di esercizio, tale popolazione si è molto di più che raddoppiata (18687) (Fig. 2).
La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Fig. 3); nel 2012 tale percentuale è stata del 50.6%
Nella figura 4, è osservabile che tale percentuale raggiunge valori altissimi considerando gli studenti iscritti al primo anno di corso con una percentuale che si avvicina al 68%. Così come la numerosità degli studenti partecipanti negli ultimi due anni di corso rappresenta sicuramente la considerazione da parte dello studente del significato progettuale del PT, non vi è dubbio che questa ampia partecipazione del primo anno rappresenta la volontà del Presidente e del suo Corso di Laurea.
Analisi dei risultati per anno di corso e per tipologia di domande
Nella figure 5,6,7,8 sono riportate le percentuali delle risposte corrette in relazione alle due tipologie di esame (Scienze di base e Scienze cliniche) e confrontate con quelle ottenute nel 2011 (Figg. 5 e 6) e con la media dei 7 anni di sperimentazione (Figg. 7 e 8).
Come osservabile, le percentuali ottenute nelle domande concernenti le scienze di base nel 2012 sono in media più basse di quelle ottenute nel 2011 con una uguaglianza o superiorità osservabile solo nel 2° e 3° anno.
Per quanto riguarda invece le scienze cliniche, il dato percentuale sembra essere sempre superiore rispetto a quello osservato nei diversi anni di corso nel 2011. Tale dato è confermato in tutte le discipline individuali che compongono questa porzione del PT fatta eccezione per le scienze del comportamento che hanno mostrato un significativo decremento nel numero di risposte esatte in tutti gli anni di corso.
Come osservabile nella figura 7 il dato relativo alle scienze di base sembra essere costante e riproducibile dal 2006 al 2012, tranne per gli anni 2006, 2007 e 2011 che hanno percentuale più alta di circa il 10% rispetto agli altri anni. Interessante notare che durante questi tre anni la percentuale di domande nozionistiche, rispetto a quelle deduttive, era circa il 10% in più.
Nella figura 8, è invece da notare come l’andamento della percentuale di risposte esatte relativo alle scienze cliniche nei diversi anni di corso riflette più o meno quello delle scienze di base con un aumento di circa il 10% negli stessi tre anni (2006, 2007 e 2011) tranne per i risultati del 2012 dove, anche se la percentuale di domande deduttive era del 10% in più rispetto a quelli del 2006, 2007 e 2011, i risultati mostrano valori uguali a questi tre anni se non addirittura più alti.
Tale osservazione era riprodotta in tutte le discipline individuali delle scienze cliniche.
Per valutare meglio questa particolare distribuzione abbiamo analizzato le diverse percentuali osservate solo considerando gli studenti iscritti al sesto anno di corso nei 35 Corsi di Laurea che hanno condotto il PT al sesto anno.
Per le scienze di base (Fig. 9) la media nazionale è stata circa del 44% con una deviazione standard di circa il 12%.
Fig. 9 – Andamento della percentuale delle risposte corrette nelle scienze di base nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno.
Ben diversa la distribuzione riguardante le scienze cliniche dove, come osservabile in Figura 10, la media era del 48% ma con una deviazione standard vicina al 20%.
Fig. 10 – Andamento della percentuale delle risposte corrette nelle scienze cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea.
Tale ampia deviazione standard potrebbe essere attribuibile a circa 4-5 Corsi di Laurea nei quali si sono osservate percentuali vicine al 90% di risposte esatte che non solo riguardavano gli ultimi due anni ma anche gli anni iniziali.
Tale dato, rappresenta sicuramente un outlier da non considerare ai fini del buon comportamento generale ed attribuibile a qualche particolare situazione che potrebbe aver contaminato il risultato del test e che, inoltre, potrebbe spiegare l’inaspettata aumentata differenza nella percentuale di risposte corrette nell’esame del 2012 (Fig. 8). Infatti, nella figura 11, che contiene entrambi gli andamenti per i due gruppi di domande, si potrà osservare che in quelle Facoltà con risultati nelle scienze cliniche inaspettatamente alti, la mattina (scienze di base) ha dato risultati sovrapponibile al resto d’Italia mentre il pomeriggio (scienze cliniche) c’è stato questo diverso comportamento. Purtroppo forse è da considerare che, negli ultimi anni alcune Facoltà hanno incentivato la partecipazione al Progress Test con particolare valore al fine del punteggio dell’esame di Laurea senza prendere in considerazione la particolare capacità dello studente medio di ricorrere a tecniche sopraffini per arrivare al risultato. Questo a significare che la prossima missione della Conferenza, nel momento che la Commissione per l’abilitazione alla professione medica sta lavorando per trasferire l’esperienza del Progress Test all’esame di abilitazione, dovrà essere quella di tutelare l’ottimo e corretto svolgimento del Progress Test.
Fig. 11 – Paragone dell’andamento della percentuale delle risposte corrette sia nelle scienze di base che in quelle cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea.
Gli ovali mettono in evidenza l’enorme discrepanza tra i risultati nella parte clinica rispetto alla parte di base.
Conclusioni
Il PT 2012 ha mostrato un aumento della numerosità degli studenti partecipanti. Dopo 7 anni di sperimentazione cominciamo veramente ad essere fiduciosi che il PT, nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea.
Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test finale sta diventando una probabile realtà e forse una necessaria realtà alla luce dei “soliti” risultati dell’esame di abilitazione che anche quest’anno hanno dato delle percentuali di abilitati vicine al 99%. Questa percentuale non rappresenta una realtà e soprattutto non considera che la valutazione è una componente critica dell’insegnamento. E’ quindi mandatario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia, che il PT, ormai evenienza routinaria e capo saldo della formazione dei nostri studenti, prossimi professionisti della salute, diventi il futuro modello di un corretto esame di abilitazione. Partecipare al PT potrebbe diventare, per lo studente, uno strumento per migliorare la propria formazione (assessment drives learning) e, per il Corso di Laurea, un mezzo per migliorare l’iter educativo (assessment drives curricular improvements).
1. Mennin SP, Kalishman S. (1998). Student assessment. Acad Med. 73(9 Suppl):S46-54.
2. Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students. Med Educ. 17: 165-171.
3. Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane. Med Chir 49: 2123-2130.
4. Recchia L, Moncharmont B. (2011) Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51: 2237-2242.
Tenore A., Basili S., Proietti M., Il Progress Test 2012, Medicina e Chirurgia, 60: 2699-2704, 2013. DOI: 10.4487/medchir2013-60-4