On November 15, 2006 the first Progress Test (PT) was made available to all Italian Medical Schools, on a voluntary basis, as an initiative of the Conferenza Permanente dei Presidenti di Consiglio di Corso di laurea Magistrale in Medicina e Chirurgia. Since 2006, the PT has been held annually for the last 9 years. During these 9 years, the percentage of Italian medical schools that have participated has increased from 50% to approximately 88% and has seen the number of participating students increase from 3,300 to approximately 22,000. Although the PT is not a new invention, but dates back to the 1970’s, it is undergoing a revival for the same reasons that it was originally created. At its inception it was realized that up to that time (as it continues to occur in many contemporary schools) the assessment of knowledge acquired during any academic year was obtained exclusively from end-of-course or end-of-year exams. Unfortunately, such exams have been shown to have important steering on learning since they push students to prepare themselves primarily for the passing of these exams. Such exams have also been shown to indirectly reinforce the mnemonic aspect of studying medicine and in the vast majority of cases students tended to limit their studies by concentrating primarily on what they believed would be the content of the exam.
From these reflections, a new philosophy mushroomed regarding the concepts of assessment and evaluation. It became clear that what had to be left behind was the direct relationship between specific educational programs and their evaluation. What had to be evaluated was not so much the acquisition of the specific course-related learning objectives but the progressive acquisition of the final objectives of the overall medical curriculum. For these reasons it was realized that evaluation had to be as a continuous a process as possible. The original idea of the creators of the PT was that exams should not interfere with an individual’s desired behavior in studying, and that decisions of pass/fail should be based on longitudinal and not on single evaluations.
Even though the PT was developed to respond to a new form of education introduced at that time, that of Problem Based Learning (PBL), it has been subsequently demonstrated that the application of a longitudinal, progressive method of assessment and evaluation is valid not only for PBL-based curricula, but also for those (still) using “traditional” curricula.
This report will begin with more detailed information on the philosophy, advantages and disadvantages’ of this type of exam, continue with a description of the Italian experience over the last 9 years and in particular, focus on of the results of the last PT taken by 22,955 Italian medical students.
Introduzione
Gli Atenei italiani per la gran parte includono anche il Corso di Laurea in Medicina e Chirurgia. Sebbene i curricula di questi corsi siano spesso diversi, essi sono costruiti attorno ad un core costituito da unità didattiche elementari che fanno si che il prodotto finale, ossia il laureato in medicina e chirurgia, sia sufficientemente sovrapponibile indipendentemente dalla sua provenienza. Con l’introduzione dell’ammissione a numero programmato sulla base del superamento di una prova di ingresso uguale in tutte le scuole la popolazione che viene ammessa alla scuola di medicina sembrerebbe essere omogenea. Inoltre negli ultimi anni grazie alla graduatoria nazionale si può contare su una distribuzione diversa dalla regione di provenienza nel 50% dei casi. Tuttavia, la continua ricerca pedagogica che avviene da moltissimi anni all’interno della Conferenza Permanente dei Presidenti di Corso di Laurea in Medicina e Chirurgia (CPPCLM&C) ha fatto emergere sempre di più la necessità di un metodo di valutazione interna e di confronto tra curricula. Inoltre, l’incremento della mobilità internazionale sia durante il corso degli studi (progetti ERASMUS) che dopo la laurea ha incrementato la ricerca di un modello di valutazione di ampio respiro internazionale.
In Medicina, la “conoscenza” ha sicuramente un ruolo centrale come in altri campi di studio nella determinazione della competenza professionale. E’ essenziale, quindi, che qualunque sistema di valutazione includa misure sull’acquisizione di “conoscenze” attendibili ed accurate.
Uno degli aspetti più importanti della competenza medica e del ragionamento clinico è la necessità che il medico acquisisca una notevole capacità di accumulare informazioni in modo organizzato e di mantenere nel tempo quelle essenziali all’esercizio delle competenze professionali (core curriculum); è altresì importante che questa abilità venga insegnata fin dall’inizio della frequenza alla facoltà di medicina. Se tanta informazione è realmente necessaria per far sì che uno studente diventi un buon professionista, allora le facoltà di medicina dovrebbero creare degli strumenti specifici per valutare l’acquisizione e il mantenimento delle conoscenze più rilevanti durante gli anni di formazione.
Sicuramente il metodo tradizionale degli esami di profitto garantisce stimoli comportamentali continui per lo studente che risponde strategicamente allo scopo di ottimizzare al massimo le possibilità di successo (assessment drives learning). Rompere il rapporto vincolante tra esame e apprendimento ed evitare che il sistema di valutazione certificativo rappresenti l’unica forza che spinge lo studente all’acquisizione delle conoscenze rappresenta da molto tempo una sfida ad una riforma curriculare significativa.
Negli anni settanta, quasi in contemporanea, l’Università di Missouri (Kansas City, USA) e l’Università di Limburg a Maastricht (Olanda) individuarono nel “progress testing” un metodo di valutazione progressiva dell’acquisizione di conoscenze. La base di questa metodologia si fondava proprio sulla nuova concezione della valutazione che non doveva interferire con il comportamento individuale desiderato nello studio e che le decisioni di “pass/fail” dovevano essere basate su valutazioni longitudinali e non su singole prove certificative. In seguito, a metà degli anni novanta anche l’Università di McMaster (Canada) incorporò il “progress testing” nel suo curriculum medico.
Tutte e tre le Istituzioni differivano per quello che riguardava la modalità e la specificità del progress testing. Tuttavia, i sistemi adottati avevano in comune delle caratteristiche essenziali:
a) il test è così omnicomprensivo che è virtualmente impossibile prepararsi per esso,
b) la valutazione è basata sulla performance globale e non sul risultato singolo (superamento o bocciatura al singolo esame).
Ne deriva che il progress testing rappresenta un metodo per valutare l’acquisizione e la ritenzione, tempo-dipendente, delle conoscenze riguardo agli scopi e obiettivi del curriculum formativo globale e non del singolo corso. In altre parole, un metodo per valutare la quantità di conoscenze accumulate dagli studenti, rispetto al dominio di conoscenze richieste del ‘prodotto finito delle Scuole di Medicina’, ossia il laureato ideale di un programma di formazione.
Poiché studenti di tutti gli anni di corso fanno lo stesso esame, i risultati di tutti gli anni permettono di seguire la crescita di conoscenze e competenze di ciascuno studente nel corso di tutti gli anni della sua educazione medica, e allo stesso tempo di trarre delle conclusioni che riguardano il curriculum o parti del curriculum formativo.
Anche se il Progress Test venne ideato anche per rispondere ad un nuovo metodo di insegnamento, quello del Problem Based Learning (PBL) è stato dimostrato che l’applicazione di uno strumento longitudinale per la valutazione progressiva è appropriato per valutare non solo programmi curriculari che adoperano l’apprendimento basato su problemi, ma anche quelli tradizionali.
Il 15 novembre 2006, la Conferenza Permanente dei Presidenti di Consiglio di Corso di Laurea Magistrale in Medicina e Chirurgia aggiunse un nuovo tassello alla “mission” di migliorare la qualità della formazione degli studenti di medicina e, di conseguenza, dei nostri futuri medici organizzando in 25 Corsi di Laurea un progetto pilota centrato sul Progress Test somministrato a studenti del primo, quarto e sesto anno di corso.
I principali obiettivi che erano alla base di questo progetto pilota erano i seguenti: 1) capire e verificare se l’acquisizione cognitiva delle informazioni ottenute nel corso degli insegnamenti è una variabile continua oppure no; 2) valutare se vi è una perdita di conoscenze relative alle Scienze di Base nel corso degli ultimi anni del curriculum medico; 3) promuovere la responsabilità dello studente verso un’auto-valutazione oggettiva della propria preparazione, così da renderlo capace di porre autonomamente rimedio alle carenze della propria preparazione; 4) valutare se il Progress Test possa essere considerato una possibile forma di valutazione routinaria (annuale) nel corso di laurea; 5) fornire un’occasione per riflettere sulla struttura del curriculum valutando l’eventualità di attuare azioni correttive.
I risultato ottenuti in quel primo “progetto pilota”, che coinvolse 3496 studenti, indicarono che la performance globale, nonché quella nella vasta maggioranza degli ambiti disciplinari, tende ad aumentare con l’avanzamento degli studenti attraverso il curriculum formativo.
Da allora la CPPCLMM&C ha inserito il Progress Test tra i metodi di valutazione degli studenti per le Facoltà di Medicina e Chirurgia. C’è stato man mano un aumento delle Facoltà e degli studenti crescente che nel nono anno di utilizzo del Progress Test è arrivato a 22955 studenti.
Inoltre nella fine dell’agosto 2014, durante il congresso internazionale dell’AMEE (An International Association for Medical Education), abbiamo avuto la possibilità durante un simposio dedicato (Progress Testing In Italian Medical Schools: An 8 Year National Experience), di poterci confrontare con esperti dell’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR) e di altre università europee come l’Università “Charité” di Berlino e quella Olandese di Maastricht. Da questo simposio è sicuramente emerso come l’esperienza italiana sia assolutamente di esempio alla comunità internazionale.
Di seguito verrà brevemente ricordata la metodologia del PT e focalizzati i risultati dell’ultimo PT 2014.
Modalità di svolgimento del Progress Test in Italia
Il test è sostenuto in due tempi: dalle 9:00 alle 12:00 la prima parte e dalle 14:00 alle 17:00 la seconda, mediamente con 80 secondi di tempo per rispondere a ciascuna domanda.
Il test viene somministrato in tutta Italia nello stesso giorno (in genere un mercoledì dei primi 15 giorni di novembre) in contemporanea con un sistema di controllo attento che non permette a nessun Corso di Laurea di conoscere le risposte alle domande. Inoltre le domande vengono cambiate ogni anno e trasmesse ai Corsi di laurea con tempistiche strettissime per evitare ogni tipo di possibile diffusione agli studenti. Esiste un coordinamento centrale che mantiene la segretezza del tutto e che si occupa anche di istruire tutto il personale coinvolto nelle varie sedi.
Il test è composto da 300 domande del tipo a scelta multipla (“nozionistiche” e “di ragionamento”) come quello effettuato alla McMaster University in Canada.
Le domande sono divise per ambiti disciplinari (Tabella 1): 150 nell’area delle Scienze di Base (Pre-cliniche) e 150 nell’Area Clinica.
In quest’ultimo anno le domande sono state frutto di un corposo coinvolgimento di tutti i docenti dei diversi corsi di Laurea Italiani che hanno prodotto il 75% delle domande somministrate dopo un attento controllo da parte della commissione centrale. Si è cercato quindi di armonizzare al massimo le domande con i curricula formativi di tutte le realtà italiane.
Per il risultato del test sono valutate solo le risposte corrette alle quali è attribuito un punto.
La Conferenza nel 2011 alla luce dei suggerimenti della pedagogia medica, che sostiene che attribuire un punteggio che consideri sia le domande corrette (in positivo) che quelle sbagliate (in negativo) è il metodo di valutazione più appropriato perché evita risposte “a caso” decise di sperimentare anche tale valutazione. In quell’anno, quindi, i risultati sono stati analizzati togliendo un punto per ogni risposta sbagliata. Tuttavia, l’analisi della performance globale e quella concernente le singole aree tematiche è stata sovrapponibile a quella degli anni precedenti togliendo ogni dubbio sulla possibilità di risposte a caso.
Dal 2011, quindi, sono valutate solo le risposte esatte.
Dopo la valutazione di tutti i dati locali e nazionali, gli studenti di ciascuna sede sono informati del loro risultato (mantenendo il loro anonimato se la pubblicazione dei risultati avviene in rete).
Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione. A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà. Inoltre, all’interno di ogni Corso di Laurea sono discussi con i Docenti i dati statistici sull’andamento degli studenti nell’ambito di ogni disciplina nei diversi anni di corso. Infatti, la Conferenza in questi tanti anni di lavoro e sperimentazione è sempre più convinta che sia senz’altro vero che “assessment drives learning” ma che è altrettanto vero anche che “assessment drives teaching” ossia che ogni processo innovativo di valutazione dello studente realmente spinge il Docente a fare cambiamenti migliorativi nel curriculum.
Il Progress test 2014 – Metodi ed Analisi dei dati
Come ogni anno, anche nel 2014, è stato condotto, su iniziativa della Conferenza dei Presidenti di Corso di Laure in Medicina e Chirurgia il nono PT (12 Novembre 2014).
Dei 50 Corsi di laurea italiani, 44 (88%) hanno partecipato all’ultimo progress test. I sei CLM mancanti non hanno potuto partecipare per problemi di tipo logistico e/o organizzativo.
La difficoltà tecnica di somministrare il PT è dovuta soprattutto alla assoluta necessità di avere personale addestrato per la organizzazione, disponibilità di aule e di supporto elettronico per la correzione dei compiti. E’ da segnalare, tuttavia, che moltissime sedi provvedono da sempre alla correzione manuale con griglia degli elaborati e che questa incombenza è spesso svolta dai Docenti stessi.
Come ogni anno, su delega della Conferenza, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT. La considerazione dell’utilità di tale metodologia di valutazione è sempre più diffusa tra i Docenti ed anche NEL 2014 si è osservato un aumento delle sedi che hanno deciso di somministrare il Test a più anni i di corso.
In totale, sono stati coinvolti 228 anni accademici nelle 44 sedi partecipanti.
Come riportato nella Figura 1, più del 68% dei corsi di Laurea ha somministrato il PT ai 6 anni di corso e l’11% ad almeno 5.
La numerosità totale degli studenti partecipanti in questi anni di sperimentazione è stata sempre crescente. Infatti, come riportato nella figura 2, dal 2007, usciti dalla fase del progetto pilota, è andato crescente il numero degli studenti partecipanti da 7930 del 2007 ai 22955 del 2014. Il motivo della piccola flessione, sia del numero di studenti partecipanti che dei corsi di laurea partecipanti, osservabile nel 2013 è stato dovuto ad un improvviso problema organizzativo.
La percezione dell’importanza del PT da parte dei Presidenti e dei Docenti partecipanti al PT è stata trasferita in maniera significativa agli studenti considerando un incremento del 31% nella popolazione totale di studenti partecipanti rispetto all’anno precedente. Inoltre dai 23 corsi di laurea partecipanti nel 2007 si è arrivato al coinvolgimento di 44 corsi di laurea italiani.
La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Figura 3).
Nella Figura 4, è osservabile che tale percentuale raggiunge valori altissimi considerando gli studenti iscritti al primo anno di corso con una percentuale media che nel gli ultimi 3 anni di esercizio è stata superiore al 70%. Così come la numerosità degli studenti partecipanti negli ultimi due anni di corso rappresenta sicuramente la considerazione da parte dello studente del significato progettuale del PT, non vi è dubbio che questa ampia partecipazione del primo anno rappresenta la volontà del Presidente e del suo Corso di Laurea.
Analisi dei Risultati del Progress Test 2014 per anno di corso e per Tipologia di domande (ambito di Scienze di Base e Scienze Cliniche)
Nella figura 5 sono riportate le medie dei risultati ottenuti per le scienze di base e per quelle cliniche ottenute dai 44 CLMs che hanno partecipato al PT 2014.
Importante evidenziare come vi sia un graduale miglioramento della percentuale media delle risposte esatte andando dal primo al sesto anno; tale dato è assolutamente confortante e corrobora la capacità dei nostri core curriculum di portare lo studente al raggiungimento degli obiettivi didattici. E’ tuttavia ancora più importante porre l’accento come sussista anche il mantenimento delle conoscenze arrivando al sesto anno a più del 50% di percentuale media di risposte giuste.
Tale osservazione era riprodotta in tutte le discipline individuali delle scienze di base e delle scienze cliniche.
Per valutare meglio il dato abbiamo analizzato le diverse percentuali osservate solo considerando gli studenti iscritti al sesto anno di corso nei 44 Corsi di Laurea che hanno condotto il PT al sesto anno. Per le scienze di base la media nazionale è stata circa del 52% con una deviazione standard di circa il 10.8%. In modo simile si comporta quella delle scienze cliniche dove, come osservabile in Figura 6, la media era del 51.2% ma con una deviazione standard del 11.3%. Il PT 2014 al suo decimo anno sembra rappresentare per i Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea.
Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test Finale sta diventando una probabile realtà e forse una necessaria realtà alla luce dei “soliti” risultati dell’esame di abilitazione che anche quest’anno hanno dato delle percentuali di abilitata vicine al 99%. Questa percentuale non rappresenta una realtà e soprattutto non considera che la valutazione è una componente critica dell’insegnamento.
E’ quindi mandotario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia, che il PT ormai evenienza routinaria e capo saldo della formazione dei nostri studenti, futuri professionisti della salute diventi il prossimo modello per un corretto esame di abilitazione.
- Mennin SP, Kalishman S. (1998). Student assessment. Acad Med.;73(9 Suppl):S46-54.
- Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students. Med Educ. ;17: 165-171.
- Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane. Med Chir 49; 2123-2130.
- Recchia L, Moncharmont B. (2011) Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51, 2237-2242.
Tenore A., Basili S., Lenzi A., Il progress test, dal novembre 2006 al novembre 2014, Medicina e Chirurgia, 68: 3089-3093, 2015. DOI: 10.4487/medchir2015-68-3