Articolo
Introduzione
Il 15 novembre 2006 è stato condotto il molte Facoltà di Medicina e Chirurgia il primo Progress Test che rappresenta un metodo di valutazione longitudinale delle conoscenze ed è attualmente incorporato nel curriculum medico di diverse Università Americane ed Europee. Il Progress Test (PT) ha come caratteristiche peculiari che (i) lo studente non può prepararsi per il PT e che (ii) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.
Il PT rappresenta quindi un metodo essenziale della valutazione del miglioramento e del mantenimento delle conoscenze durante i 6 anni di corso che porteranno poi al raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.
Il 16 novembre 2011 è stato condotto il 6° Progress Test nelle Facoltà di Medicina e Chirurgia, come riportato nella Tabella 1, consentendo ai Docenti delle Facoltà Italiane di Medicina e Chirurgia di aver per la prima volta una visione completa del percorso dello studente fino ai primi mesi dell’inizio del primo semestre del 6° anno.
Tabella 1- I sei anni di Progress Test
| 1° |
Mercoledì |
15 Novembre 2006 |
| 2° |
Mercoledì |
14 Novembre 2007 |
| 3° |
Mercoledì |
12 Novembre 2008 |
| 4° |
Mercoledì |
18 Novembre 2009 |
| 5° |
Mercoledì |
17 Novembre 2010 |
| 6° |
Mercoledì |
16 Novembre 2011 |
Nel 2006 parteciparono il 55% delle Facoltà in Medicina e Chirurgia (25 CLMMC dei 45 attivi).
Nel 2011 l’84% delle Facoltà in Medicina e Chirurgia ha partecipato al sesto PT; in particolare hanno partecipato 45 dei 51 CLMMC attivi.
Nel corso di questi 6 anni soltanto 2 Corsi di laurea non hanno mai partecipato al PT (Università di Pavia e Università di Varese).
Progress Test 2011 – Metodi e Risultati
Come negli scorsi anni il PT è stato strutturato in 300 domande a scelta multipla; solo una risposta sulle cinque proposte è quella giusta. Le prime 150 domande riguardano le scienze di base e sono somministrate in 3 ore nel corso della mattina del giorno prescelto. Le successive 150 domande, somministrate nel pomeriggio, sono inerenti le scienze cliniche.
Nella Tabella 2, è riportata la numerosità delle domande per aree disciplinari. La distribuzione delle domande per il 2011 è stata identica a quella del 2010.
Tabella 2: Distribuzione delle domande per aree disciplinari.
|
Scienze di Base
Totale n=150
|
|
|
Scienze Cliniche
Totale n=150
|
| Morfologia/Biologia |
20 |
|
Ostetricia e Ginecologia |
20 |
| Fisiologia |
25 |
|
Pediatria |
30 |
| Biochimica/Biologia Molecolare/Genetica |
25 |
|
Medicina Interna e Specialistica |
40 |
| Microbiologia/Immunologia |
25 |
|
Medicina Preventiva |
40 |
| Patologia Generale/Fisiopatologia |
25 |
|
Chirurgia Generale e Specialistica |
10 |
| Farmacologia |
15 |
|
Anatomia Patologica |
10 |
| Scienze del Comportamento |
15 |
|
Dei 45 corsi di Laurea che hanno partecipato al PT nel Novembre 2011, 2 non hanno ad oggi consegnato i risultati pertanto nel momento della stesura di questo articolo verranno riportati i risultati relativi a 43 corsi.
Altra nota metodologica è quella che nello scorso esercizio del PT non è stato incluso nel campione il primo anno di corso. Questa particolare regola è stata suggerita dalla volontà della commissione di valutare il ruolo del peso da riservare alle risposte sbagliate. Ai fini della valutazione, in molti modelli internazionali e nazionali, viene data rilevanza anche alle risposte sbagliate considerando che tale risposte vengono scelte a caso dallo studente e possono talvolta dare dei risultati positivi dovuti alla sola casualità.
Questa scelta metodologica è stata fatta per testare la tecnica finale della preparazione e della valutazione del PT in considerazione di un suo possibile utilizzo nelle prove per l’abilitazione professionale degli studenti andando così a modificare l’attuale esame di stato.
E’ stato quindi “risomministrato” un questionario già utilizzato (esercizio 2007) in precedenza al fine di confrontare il diverso peso valutativo nel considerare o non considerare le risposte sbagliate.
Coinvolgimento dei diversi anni di corso
Come ogni anno, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT. A sostegno della sempre maggiore comprensione dell’utilità di questo modello valutativo è da segnalare che, come riportato nella Figura 1, ben il 65% dei corsi di Laurea ha somministrato il PT ai 5 anni di corso. Il 28% dei Corsi di Laurea ha coinvolto almeno 2 anni di corso, il 5% ha coinvolto almeno 4 anni di corso e soltanto 1 Corso di Laurea ha coinvolto un solo anno. L’esatta distribuzione dei vari anni di corso coinvolti in relazione a quanto successo nei 5 anni di esercizio del PT precedenti è riportata nella Figura 2.
Come si può notare dal 2006 ad oggi si è osservato un coinvolgimento sempre più numeroso di tutti gli anni di corso con un aumento significativo (+14%) soprattutto al terzo anno. In particolare, dei 43 CLMMC, 35 hanno condotto il test al 2° anno, 41 al 3°, 36 al 4°, 33 al 5° e 32 al 6° anno per un totale di 177 anni accademici. La leggera flessione rispetto allo scorso anno è dovuta in parte alla mancanza della somministrazione al 1° anno di corso.
Figura 1
Figura 2
Per lo stesso motivo, la numerosità totale degli studenti partecipanti è stata leggermente inferiore a quella registrata nel 2010 (15278 vs. 13991) (Figura 3).
Figura 3
Tuttavia, analizzando i dati e considerando il totale dei partecipanti iscritti dal 2° al 6° anno, si è passati dagli 11595 dello scorso anno (2010) ai 13991 del 2011 con un incremento della numerosità totale del 21%.
Nel dettaglio, c’è stato un incremento del 32% al 3° anno (2968 vs. 3929), del 43% al 4° anno (2119 vs. 3032), del 23% al 5° anno (1527 vs. 1876) e del 18% al 6° anno (1312 vs. 1552).
Se si considera che dopo un anno di sperimentazione, ossia nell’esercizio 2007, si poteva contare su una popolazione di studenti, iscritti dal 2° al 6° anno di Medicina, di circa 5000 studenti (precisamente 5426) nel sesto anno di esercizio, ossia nel 2011, tale popolazione si è molto di più che raddoppiata (Figura 3).
La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Figura 4)
Figura 4
Nell’esercizio 2011 soltanto il 30% circa degli studenti iscritti al quinto-sesto anno di corso ha sostenuto il PT ma oltre il 50% di studenti iscritti al 2° e 3°anno di medicina ha sostenuto il PT.
Con punte del 61.9% raggiunte dagli studenti totali iscritti al terzo anno di medicina dimostrando anche una sensibilizzazione dello studente rispetto al progress test. Dapprima lo studente ha apprezzato il valore attribuito come ADE al PT e successivamente ha cominciato a comprendere il valore didattico di tale strumento (Figura 5).
Figura 5
Analisi dei Risultati per anno di corso- Progress test 2011
Nella Figura 6 sono riportati i numeri relativi ai partecipanti alle due tipologie di esame (Scienze di Base e Scienze Cliniche).
Quest’anno, si è osservata una leggera tendenza alla maggiore partecipazione ai test concernenti le Scienze Cliniche anche se con minime differenze. Nel proseguimento dell’articolo saranno riportati i risultati del PT 2011 mostrando dapprima l’andamento delle sole risposte corrette paragonandole all’esame del 2007 (successivamente, nel dettaglio, verrà trattato il confronto tra risposte corrette vs. corrette/sbagliate)
Figura 6
Prendendo in considerazione il dettaglio per singolo anno di corso, il PT 2011 ci ha mostrato che:
1) Per il II anno la media delle risposte giuste per le Scienze di Base è 22,6% (DS: 7.4%), sostanzialmente sovrapponibile al dato determinato l’anno precedente, così come con quello determinato dalla sottomissione dello stesso esame nel 2007, con un delta di solo lo 0,2%.
A fronte di una percentuale simile sul totale delle risposte, le percentuale di risposte giuste nelle varie discipline differisce decisamente da quelle dello scorso anno, mentre risulta sostanzialmente invariata con il 2007. Per quanto riguarda invece le Scienze Cliniche, si è potuto mettere in evidenza un deciso divario rispetto al 2007, con una media del 14,7% (DS: 7,9%) rispetto al 21,2% (DS: 10,8%), con riduzione maggiore delle percentuale di risposte corrette in Ostetricia-Ginecologia, Pediatria, Medicina Interna e Chirurgia Generale, compatibile però con l’anno di corso (Figura 7 e 8).
Figura 7
Figura 8
2) Nel III anno, i risultati ottenuti hanno mostrato una forte flessione nel numero di risposte corrette con un 32,4% (DS: 8.5%) rispetto al 2007 dove si riportava un 37,3% (DS: 10,6%) di risposte corrette. Il delta aumenta quando si prendono in considerazione le Scienze Cliniche, con un 14,7% (DS: 7,9%) contro il 21,2% (DS: 10,8%), con un calo molto marcato soprattutto nell’area dell’Ostetricia e Ginecologia (Figura 9 e 10).
Figura 9
Figura 10
3) Nel IV anno la media delle risposte esatte nelle Scienze di Base è stata del 41,1% (DS: 7,9%), decisamente maggiore rispetto allo scorso anno, ma con un delta in diminuzione rispetto ai risultati del 2007, che si attestava al 45,7% (DS: 6,2%).
Come atteso, in questo anno di corso, si può osservare un netto aumento di risposte giuste nelle Scienze Cliniche con un 25,2% (DS: 8,6%), che però risulta essere decisamente più contenuto rispetto a quello dello scorso anno, ma soprattutto rispetto a quello del 2007 che si attestava al 30,9% (DS: 7,4%) (Figura 11 e 12).
Figura 11
Figura 12
4) Nel V anno la media per le Scienze di Base si attesta al 54,1% (DS: 6.4%) con una netta inversione di tendenza rispetto al 2007, in cui si era osservata una media del 50,2% (DS: 7,6%), che si conferma nelle Scienze Cliniche, con una media del 45,1% (DS: 9,8%) rispetto al 39,8% (DS: 11,0%) del 2007. Come atteso rispetto agli altri anni, tutte le discipline segnano un netto aumento di risultato positivo, con la Farmacologia che recupera molto terreno rispetto agli altri esercizi. (Figura 13 e 14)
Figura 13
Figura 14
4) Nel VI anno la media di risposte esatte, per le Scienze di Base, è stata del 54,7% (DS: 6.1%), sostanzialmente sovrapponibile al 2007 che si attestava al 54,9% (DS: 8,2%). Per le Scienze Cliniche, si denota un forte aumento rispetto all’anno precedente, con una media del 49,5% (DS: 9,0%), confermando la sovrapponibilità rispetto al dato del 2007, che arrivava al 49,3% (DS: 12,1%) (Figura 15 e 16).
Figura 15
Figura 16
Analisi delle differenze nei valori medi tra esami valutati solo con risposte corrette ed esami valutati con risposte corrette/sbagliate.
Fino al 2010 (5° esercizio) abbiamo eseguito gli esami valutando solo le domande corrette.
Quello che è emerso nei primi 5 anni di sperimentazione, confermato anche dall’attuale, è che la percentuale di risposte corrette per anno e disciplina non cambia.
Nella mente degli ideatori del PT il modo ideale di valutazione del PT era di penalizzare i “tentativi di indovinare” la risposta corretta da parte dello studente.
La Conferenza dei Presidenti di Corso di Laurea, in occasione della centoduesima riunione, ha quindi deciso di utilizzare il PT 2011 come modello delle due diverse valutazioni.
Come è possibile osservare nei pannelli che compongono al Figura 17, lo scarto tra la percentuale ottenuta utilizzando la modalità risposte corrette rispetto a quella corrette/sbagliate si è attestato, sia nelle scienze di base che in quelle cliniche, intorno al 10%. Lo scarto minimo osservato è stato del 9.6% nel test dedicato alle scienze cliniche nel secondo anno. Lo scarto massimo è stato del 16.7% al quarto anno nelle scienze di base. Alla luce di tali risultati e considerando l’importanza del Progress Test come mezzo di valutazione della progressione delle conoscenze e soprattutto del mantenimento di queste sembra trascurabile lo scarto medio del 10% rispetto alla grande validità dimostrata in questi 6 esercizi della valutazione.
Figura 17
Analisi complessiva (media nazionale) dal primo al sesto anno: confronto con i risultati degli anni precedenti
Il PT 2011, somministrato nella stessa forma del 2007, mentre mostra dati sostanzialmente sovrapponibili per il II anno di corso, soprattutto per le Scienze di Base, che hanno decisamente maggiore peso in questo anno, trova un netto calo di risposte corrette per gli anni centrali, III e IV.
A contraltare di ciò si mette in evidenza come negli ultimi due anni di corso, la forbice del delta si inverta e progressivamente si apra a favore del PT 2011.
Al confronto con gli ultimi due esercizi, 2009 e 2010, si può sottolineare una completa comparabilità per il II e III anno di corso, si va incontro ad un forte aumento delle risposte corrette nel secondo triennio.
Scienze di Base
In base ai dati disponibili, come osservabile nella Figura 18, i dati riferibili alle Scienze di Base mostrano una buona riproducibilità del risultato tra il 2007 e il 2011, con un andamento consensuale in base all’anno di corso. E’ possibile osservare come ci sia invece un netto miglioramento rispetto ai risultati degli esercizi 2009 e 2010, soprattutto negli anni del secondo triennio di corso, probabilmente riflettendo un miglioramento delle capacità deduttive degli studenti che si avvicinano alla fine del corso di studi. Prendendo invece in considerazione le percentuali di punteggio in base alle risposte corrette-sbagliate (Figura 19),
Figura 18
Figura 19
possiamo osservare come se nel II, III e IV anno di corso la media sia molto bassa, con delta rispettivamente del 12,7%, del 15,2% e del 16,7%, suggerendo una importante perdita delle conoscenze nella prima metà del corso di studi, i punteggi relativi agli ultimi due anni, suggeriscono un deciso rafforzamento delle conoscenze, probabilmente implementato dallo studio delle patologie integrate, che gli studenti effettuano durante il IV anno di corso. Tale dato, attestandosi attorno al 40%, rafforza quello della media delle risposte corrette, suggerendo una stabilizzazione delle conoscenze di base nei futuri medici.
Valutando solo le risposte corrette dopo 5 anni di studi sembra essere possibile ritenere il 50% delle conoscenze. Se si da valore alle risposte sbagliate si raggiunge il mantenimento di circa il 40% delle conoscenze al sesto anno. In effetti c’è una differenza di solo il 10% tra le due valutazioni.
Scienze Cliniche
Passando alle Scienze Cliniche, com’è osservabile nella Figura 20, continua a mantenersi costante nei primi 3 anni la percentuale delle conoscenze, non disegnando alcuna curva mantenendosi tra il 12% e il 14% poi c’è un progressivo incremento fino a circa il 45% di media, sfiorando però nel 2011 il tanto agognato 50% delle conoscenze.
Analizzando invece il PT 2011 con quelli dell’esercizio 2007, si può notare come i dati siano variamente confrontabili con anni di corso sostanzialmente sovrapponibili, altri in cui nel 2011 si sono identificate medie maggiori di risposte giuste e altri ancora in cui si sono verificate medie minori. È possibile che tale variabilità sia dovuta alla diversa numerosità del campione, considerando che nel 2011 hanno sostenuto il PT quasi tre volte il numero di studenti che lo hanno sostenuto nel 2007.
Andando invece ad analizzare la distribuzione delle medie relative alle risposte corrette-sbagliate (Figura 21), si può notare come i valori, almeno in parte, si comportino esattamente come ci si potrebbe aspettare. Vediamo infatti come al II, III e IV anno di corso le medie dei punteggi delle domande corrette-sbagliate precipitino vertiginosamente con delta superiori al 10%, riflettendo il fatto che fino a quel punto di corso gli studenti non hanno ancora affrontato i corsi integrati relativi alle Scienze Cliniche.
Figura 20
Figura 21
Osservando, invece, i dati relativi al V e al VI anno vediamo come pur essendo incredibilmente più alte le percentuali sia delle sole risposte corrette che delle risposte corrette-sbagliate, resta comunque molto elevato il delta tra i due punteggi, come ad indicare che nonostante sia aumentata la quantità delle conoscenze, resta comunque molto alta la quantità delle risposte che vengono sbagliate dagli studenti. Volendo interpretare tale dato, si può ipotizzare che nonostante si sia arricchita la quantità di nozioni degli studenti, ci sia comunque una quota importante di studenti con un perdita immediata di conoscenze, cosa che emerge ancora più fortemente andando a confrontare le medie del IV e del VI anno di corso.
Anche in questo caso, valutando solo le risposte corrette dopo 5 anni di studi sembra essere possibile ritenere il 50% delle conoscenze. Se si da valore alle risposte sbagliate si raggiunge il mantenimento di circa il 40% delle conoscenze al sesto anno. In effetti, c’è una differenza di solo il 10% tra le due valutazioni.
Analisi individuale delle specifiche aree disciplinari.
La Tabella 3 riporta, in media, le percentuali di risposte esatte nelle varie aree disciplinari nei diversi anni di corso ottenute nei CLMMC durante il PT 2011.
Per quanto riguarda le Scienze di Base possiamo osservare come, differentemente da altri esercizi precedenti, in tutte le aree disciplinari ci sia un costante progressivo aumento della percentuale delle risposte corrette, fino a valori molto buoni, come nel caso della “Microbiologia ed Immunologia” e “Patologia Generale e Fisiopatologia”, dove si raggiungono percentuali superiori al 60%.
Si può ovviamente considerare come tra le varie discipline esistano naturali differenze, soprattutto al II anno di corso, dove vediamo che la “Morfologia e Biologia”, in particolar modo, ma anche la “Biochimica, Biologia Molecolare e Genetica” e la “Microbiologia e Immunologia”, partano da valori molto più alti, che sono poi progressivamente recuperati dalle altre discipline.
Per le scienze di base, quindi, abbiamo nel 2011 un’ottima riproducibilità nella percentuale delle risposte giuste con un incremento medio del 32% delle risposte giuste dal secondo al sesto anno di corso tra il 2007 e il 2011.
Per quanto riguarda le Scienze Cliniche, si può vedere come esista un andamento molto simile a quello delle Scienze di Base, con progressivi incrementi delle percentuali di risposte corrette, con un netto stacco tra il IV e il V anno di corso. Differentemente dagli anni precedenti, in tutte le discipline si è riusciti a raggiungere un buon risultato, superiore al 40%, con diverse discipline arrivate a superare anche il 50% fin dal V anno di corso, come “Ostetricia e Ginecologia” e “Anatomia Patologica”. La “Anatomia Patologica”, riesce poi addirittura a raggiungere una percentuale superiore al 60% al VI anno di corso, recuperando i non brillanti risultati ottenuti nello scorso PT.
Fa eccezione, in questo ottimo prospetto, la “Medicina Preventiva”, che differentemente dagli ultimi anni, in questo esercizio ottiene dei punteggi molto bassi, non riuscendo nemmeno a raggiungere il 40% al VI anno di corso.
|
|
II
|
III
|
IV
|
V
|
VI
|
| SCIENZE DI BASE |
|
|
|
|
|
| Morfologia/Biologia |
34.2 |
40.6 |
40.5 |
48.1 |
50.7 |
| Fisiologia |
20.2 |
34.4 |
47.6 |
59.4 |
58.8 |
| Biochimica/Biologia Molecolare/Genetica |
27.8 |
37.6 |
42.8 |
50.4 |
47.3 |
| Microbiologia/Immunologia |
21.9 |
42.3 |
52.9 |
63.6 |
62.7 |
| Patologia Generale/Fisiopatologia |
15.7 |
24.6 |
40.2 |
58.8 |
60.9 |
| Farmacologia |
12.5 |
19.5 |
29.1 |
47.3 |
49.1 |
| Scienze del Comportamento |
26.0 |
28.1 |
34.4 |
51.1 |
53.8 |
| SCIENZE CLINICHE |
|
|
|
|
|
| Ostetricia e Ginecologia |
25.4 |
29.6 |
40.1 |
56.8 |
58.0 |
| Pediatria |
9.7 |
12.3 |
21.1 |
39.4 |
44.5 |
| Medicina Interna e Specialistica |
4.9 |
8.1 |
20.4 |
45.5 |
51.6 |
| Chirurgia Generale e Specialistica |
5.7 |
8.6 |
17.6 |
35.4 |
42.6 |
| Medicina Preventiva |
10.6 |
12.9 |
21.5 |
36.5 |
38.6 |
| Anatomia Patologica |
12.9 |
16.4 |
30.9 |
57.2 |
61.5 |
Tabella 3: Percentuale di risposte esatte nei cinque anni del corso di laurea stratificate per aree disciplinari.
Analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC
Quest’analisi molto puntiforme e che riguarda la valutazione delle competenze al sesto anno è disponibile per 32 CLMMC (Figura 22).
I vari CLMMC sono individuati da un numero progressivo per il quale è impossibile individuarli. Tuttavia, come è estrapolabile nella Figura 22, vi sono dei comportamenti particolarmente anomali soltanto in alcuni casi.
Figura 22
Conclusioni
Il PT 2011 ha mostrato un aumento della numerosità degli studenti partecipanti nonostante in questo esercizio non è stato incluso il primo anno di corso. E’ stata osservata, tuttavia, anche quest’anno, una diminuzione progressiva del numero degli studenti partecipanti tra i vari anni di corso con una riduzione importante al sesto anno. Questo probabilmente è dovuto alla difficoltà per gli studenti di comprendere fino in fondo il significato del PT anche se la grande partecipazione degli studenti del terzo anno fornisce l’idea di una sempre maggiore comprensione del significato del PT. Dopo 6 anni di sperimentazione cominciamo veramente ad essere fiduciosi che il PT, nei Corsi di Laurea Magistrali in Medicina e Chirurgia in Italia, possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea. Sicuramente in questo esercizio è stata fugata anche la sensazione di un errore metodologico nel non valutare le risposte sbagliate.
Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test Finale sta diventando una probabile realtà e forse una necessaria realtà alla luce dei risultati ottenuti nell’attuale esame di stato (Figura 23).
Figura 23
Sarà quindi necessario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia che il PT diventi una evenienza routinaria, capo saldo della formazione dei nostri studenti, prossimi professionisti della salute.
