Dal Progress Test al Training Test: analisi dei risultati finali 2018n.82, 2019, pp. 3650-3654, DOI: 10.4487/medchir2019-82-2

Articolo

Introduzione
Il presente articolo fa seguito a quello pubblicato sullo scorso numero e raccoglie i risultati finali della prova sostenuta il 14 novembre 2018 alla quale hanno partecipato tutti i 49 cds erogati in lingua italiana più 10 cds dei 14 erogati in lingua inglese per una totale di 37.143 studenti in corso più 480 fuori corso.

Ricordiamo che nel Test erano contenute 50 domande su argomenti riguardanti le discipline di base e 150 su argomenti riguardanti la capacità di applicare le conoscenze biomediche e cliniche alla pratica medica ed alla risoluzione di una serie di problemi clinici (Tabelle 1-3). La partecipazione al Test , svolto contemporaneamente il secondo mercoledì di Novembre in tutte le sedi nazionali ormai da dodici anni, è aumentata progressivamente da 3496 studenti nel 2006 a 32.203 nel 2017 con una quantità sempre più ampia di dati da raccogliere ed elaborare.

Tab.1 Domande riguardanti le discipline di base
Tab.2 Domande riguardanti le conoscenze biomediche e cliniche
Tab.3 Distribuzione delle domande per aree conoscitive ed aree scientifiche/casi clinici

Obiettivi
Obiettivo della prova di quest’anno è stato quello di trasformare il tradizionale Progress Test (PT) in un Training Test (T.T.) inteso come allenamento degli studenti al superamento dell’esame di stato nazionale dal momento che il D.M. del 9 maggio 2018 n. 58 del Miur ha enunciato che l’esame di Stato “assumerà la forma di un test con domande a scelta multipla non note in anticipo dai candidati ” 1(Lenzi et al.,2018).N on sono state estratte quindi le domande attingendo a grandi e qualificate banche-dati internazionali ma è stato necessario attenersi strettamente al ‘core curriculum’ dei corsi di laurea in Medicina elaborato dalla CPPCLMM&C 2(Gallo 2018). Si è imposta dunque una sostanziale modifica rispetto al classico PT, utile per valutare il progresso nell’apprendimento dello studente o della coorte da un anno di corso all’altro ma al contrario il TT si è posto come obiettivo la valutazione delle competenze in uscita dello studente quali la capacità di prendere decisioni e risolvere problemi, verificando l’acquisizione delle conoscenze di base attraverso la loro ricaduta sulla competenza clinica ed indirettamente, sulla capacità del docente di portare l’intera classe ad un livello base di conoscenza.

Analisi
Il campione analizzato è composto da 33.394 studenti i cui risultati sono stati inviati dalle diverse sedi oggetto della prova e sintetizzati sia per l’area preclinica che clinica , in scatterplot dal primo al quarto anno mentre per quelli iscritti al quinto e sesto anno i dati sono stati sintetizzati in istogrammi .
Dalla Figura 1 emerge un andamento decisamente crescente del numero delle risposte corrette all’aumentare dell’anno di corso, traspare dunque un’ottima conoscenza di base approfondita nel triennio clinico.
Non tutte le sedi hanno comunque inviato il dato al momento dell’attuale stesura. Dalla Figura 2 alle figura 7 vengono mostrati i risultati per sede della parte di domande precliniche.
La Figura 8 riporta la distribuzione media delle risposte corrette, sbagliate e non date della parte clinica del test. Anche questo dato è molto rassicurante in quanto la media cresce proporzionalmente all’anno di corso e supera di molto il 70% all’inizio del sesto anno (Figure 9-14)

Figura 1: Area preclinica, percentuale di risposte esatte, errate e non date
Figura 2: Area preclinica I anno, distribuzione delle risposte corrette per sede, area preclinica.
Figura 3: Area preclinica II anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 4: Area preclinica III anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 5: Area preclinica IV anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 6: Area preclinica V anno, distribuzione in percentuale di risposte corrette per sede.
Figura 7: Area preclinica VI anno, distribuzione in percentuale di risposte corrette per sede.
Figura 8: Area Clinica, percentuale di risposte esatte, errate e non date.
Figura 9: Area Clinica I anno, distribuzione in percentuale di risposte corrette per sede.
Figura 10: Area Clinica II anno, distribuzione in percentuale di risposte corrette per sede.
Figura 11: Area Clinica III anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 12: Area clinica IV anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 13: Area clinica V anno, distribuzione in percentuale delle risposte corrette per sede.
Figura 14: Area clinica VI anno, distribuzione in percentuale delle risposte corrette per sede.

Considerazioni finali
Dai grafici emerge che le domande per le quali gli studenti hanno avuto maggiore difficoltà sono di interpretazione dei dati: interpretazione tracciati ECG, RX, Laboratorio.
Emerge dunque una difficoltà di insegnamento pratico a fronte di un’ottima acquisizione delle conoscenze di base, approfondite e rinforzate nel triennio clinico

Nasce l’esigenza di PT/TT che simuli strettamente le condizioni di somministrazione dell’esame di Stato con una maggiore attenzione nella corretta somministrazione delle prove e della modalità della raccolta dei dati. In alcune sedi i risultati risultano piuttosto scadenti e, se fossero veri, pregiudicherebbero il superamento dell’esame di stato, in altre sedi invece i risultati appaiono non credibili.

Occorre però discriminare tra:

  1. reale ritardo di apprendimento
  2. non conformità nella somministrazione del test
  3. boicottaggio da parte degli studenti
  4. forme diverse di premialità per gli studenti per incentivare la partecipazione al Test

Questi elementi non consentono una veritiera comparazione tra i risultati delle diverse sedi.
E’ necessario individuare elementi per poter standardizzare e rendere omogenei i dati e procedere ad un corretto confronto tra i risultati delle diverse sedi statisticamente significativi.

Bisognerebbe inoltre implementare un nuovo approccio valutativo dei dati che differisce sostanzialmente da quello in uso che si concentra sulla valutazione dei valori medi, individuando invece le “code” meno virtuose e più problematiche. Questo sistema rispetto alla valutazione dell’eccellenza, presenta maggiori caratteri di oggettività e risulterebbe indubbiamente più utile3.

Bibliografia

1 /2 Progress/Training test 2018. Quesiti e risposte n.80, 2018, pp.3546-3574 Andrea Lenzi, Giuseppe Familiari, Stefania Basili, Bruno Moncharmont, Fabrizio Consorti Giulio Nati, Carlo della Rocca, Pietro Gallo

3V.Nesi et al. Sapienza Roma “Un elemento di valutazione della qualità della didattica” Maggio 2016

Cita questo articolo

Recchia L., Montcharmont B., Dal Progress Test al Training Test: analisi dei risultati finali 2018, Medicina e Chirurgia, 82, 3650-3654, 2019. DOI: 10.4487/medchir2019-82-2

Affiliazione autori

Laura Recchia – Coordinatrice U.G.Q. (Unità di gestione della Qualità) e Vice Presidente del Corso di Laurea Magistrale in Medicina e Chirurgia, Università degli studi del Molise.

Bruno Moncharmont – VicePresidente Vicario della Conferenza Permanente dei Presidenti di Consiglio di Corso di Laurea magistrale in Medicina e Chirurgia (CPPCLMM&C).

Dal Progress Test al Training Test: una prima elaborazione dei datin.81, 2019, pp. 3594-3600, DOI: 10.4487/medchir2019-81-1

Abstract

A Progress Test (PT), made up of 300 multiple-choice questions, has been administered every year to all the Italian medical students since 2006. In 2018, the PT has been redesigned to train the students (Training Test, TT) to afford the new postgraduate state examination. In accordance with this state examination, the TT is composed of 200 MCQ, 50 basic and 150 clinical. In order to fit the Italian Core Curriculum, the questions have been written by 59 Italian university teachers, and revised by 10 experts in medical education. At variance with PT, in TT the questions have not been grouped by disciplines but identified as learning outcomes based on sceneries as “the hospital ward”, “the ambulatory”, “the emergency room”, or “in local medicine”.
The affordability of the test has been granted by a Kuder-Richardson coefficient equal to 0.970, computed on 5184 6th-year students.
For each multiple-choice question, the Facility Index was obtained (number of correct answers/number of students). The average national Index varies from 0.65 (“in the hospital ward”) to 0.78 (“basic sciences”). The easiest questions (Facility Index = 0.735) were cognitive interdisciplinary quizzes, the most difficult (0.669) were problem solving-based questions.
As far as the question content is considered, 22 out of the 50 most difficult questions dealt with the interpretation ability and 17/50 with the ability of prescribing a therapeutic or diagnostic intervention.
The most difficult questions exhibited a wide variance in the distribution of correct answers in the different undergraduate curricula. Sometimes the variance is balanced, more often the questions appear as generally easy (or difficult) in all but a few curricula.
The Italian Conference of Undergraduate Medical Curriculum Presidents will distribute to the Presidents a table comparing, for each question, the average national facility index with the local average index, in order to allow the different courses to plan improvement strategies tailored on the difficulties registered in each course.

Articolo

Introduzione
Tra le azioni di maggior rilievo promosse dalla Conferenza Permanente dei Presidenti di CCLM in Medicina (CPPCLMM&C) si può inserire sicuramente la creazione ed implementazione del progress test (PT), un complesso di 300 domande a risposta multipla sottoposto a cadenza annuale contemporaneamente sul territorio nazionale a tutti gli studenti dei Corsi di Laurea in Medicina (dal 2006: Tenore et al., 2017) e in Odontoiatria e Protesi Dentaria (dal 2017: Crocetta et al,. 2018). Gli straordinari risultati ottenuti hanno ispirato gli estensori del D.M. del 9 maggio 2018, n. 58 del MIUR, in cui è enunciato che l’esame di Stato ‘assumerà la forma di un test con domande a scelta multipla non note in anticipo ai candidati’ (Lenzi et al., 2018). Il progress test è stato dunque ‘riprogettato’ per il 2018 in base a caratteristiche formali che lo hanno parzialmente avvicinato al nuovo esame di stato: composto da 200 domande, ripartite in 50 formulate su argomenti riguardanti le conoscenze di base, nella prospettiva della loro successiva applicazione professionale e 150 allestite su argomenti riguardanti la capacità di applicare le conoscenze biomediche e cliniche alla pratica medica ed alla risoluzione di una serie di problemi clinici. Il test di quest’anno è così diventato un training test (TT), ovvero un allenamento in vista del futuro esame di stato. Il passaggio dal progress al training test ha imposto una serie di modifiche nella sua preparazione. Obiettivo del training test è stato allenare gli studenti al superamento di un esame di stato nazionale e quindi non sono state estratte le domande attingendo a grandi e qualificate banche-dati internazionali ma è stato necessario attenersi strettamente al ‘core curriculum’ dei corsi di laurea in Medicina, elaborato dalla CPPCLMM&C (Gallo, 2018). A questo scopo la Conferenza ha impegnato tutti i Presidenti di CLM a fornire in modo riservato una serie di domande aderenti a ciò che effettivamente si insegna nei nostri CLM. Hanno contribuito a questo progetto ben 59 esperti disciplinari (che hanno redatto le domande a risposta multipla) e 10 esperti trasversali (che hanno confezionato il test). Il riferimento per la formulazione dei quesiti è stato il ‘core curriculum’, ovvero i contenuti dell’abituale insegnamento di ogni docente, ed i quesiti sono stati selezionati, seguendo il metodo ‘PUIGER’, ovvero scegliendo temi rilevanti per la Prevalenza del soggetto, o la sua Urgenza, o le possibilità di Intervento ad esso connesse, o la sua Esemplarità metodologica, o la sua Rilevanza sociale. Altra caratteristica essenziale nella formulazione delle domande è stata l’accessibilità alla risposta esatta per uno studente di ‘capacità-soglia’. Il TT infatti non è stato creato per individuare e selezionare una élite di studenti particolarmente meritevoli ma quale strumento di monitoraggio della preparazione complessiva del gruppo classe e, indirettamente, sulla capacità del docente di portare l’intera classe ad un livello base di conoscenza (Gallo 2018). Si è imposta, dunque, una sostanziale modifica rispetto al classico progress test, utile per valutare il progresso dell’apprendimento dello studente (o della coorte) da un anno di corso all’altro, necessariamente basato sulle discipline insegnate nei vari anni. Al contrario, il test previsto dal citato DM del 9 maggio 2018 si prefigge di valutare le competenze in uscita dello studente, quali la capacità di prendere decisioni e risolvere problemi e si preoccupa di controllare l’acquisizione delle scienze di base principalmente tramite la loro ricaduta sulla competenza clinica. Di conseguenza, nel TT, rispetto al PT, non solo è mutato il numero e la distribuzione delle domande ma si è imposta una contestualizzazione clinica delle stesse. Nel commissionare le domande di base si sono quindi privilegiate le formulazioni problematiche e nel redigere le domande cliniche non ci si è attenuti a criteri “per discipline” ma per quattro ‘macro-aree’ di contesto clinico: in nosocomio, in ambulatorio, in emergenza/urgenza e nel territorio. Obiettivo di questo articolo è una prima ela-borazione dei dati grezzi pervenuti dalle singole sedi la cui interpretazione dei risultati ci indicherà ‘quanto abbiamo colto nel segno’ (P. Gallo).

ANALISI
Valutazione dell’affidabilità della prova

L’affidabilità rappresenta la precisione di una misura: ciò che nella misura non è er-rore (Mucciarelli et al., 2002). La caratteristica fondamentale dell’attendibilità è la coerenza interna o omogeneità; tale caratteristica fa riferimento al grado in cui tutte le parti del test misurano allo stesso modo la variabile. Per misurare efficacemente un test è necessario che gli item ne esplorino i diversi aspetti e siano quindi coerenti tra loro; se questa coerenza manca, è probabile che essi misurino cose diverse e non contribuiscano perciò alla misurazione del fenomeno in studio. A volte nel progettare un questionario si può pensare di considerare più di una scala discreta incorporato in esso. La coerenza o consistenza interna di un test può essere valutata mediante analisi statistiche che misurano il grado di correlazione tra le variabili. Un’elevata consistenza interna indica che gli item esplorano le diverse facce di uno stesso fenomeno o che sono modalità diverse di descriverlo. Se infatti, un test si propone di misurare un concetto unitario, anche le sotto parti del test (ad es., gli item) devono misurare allo stesso modo la variabile misurata, devono dunque concordare. Per poter misurare il grado di coeren-za interna nel nostro caso è stato utilizzato il coefficiente di Kuder Richardson (Dancey et al., 2016) o KR20 che è stato applicato alle risposte di 5184 studenti del sesto anno inviate da 40 sedi, con un risultato, compreso tra zero ed 1, che risulta essere pari a 0,970 cioè è indicatore di ottima consistenza interna ed affidabilità della prova.

Il numero di partecipanti al PT è aumentato nei diversi anni accademici in forma espo-nenziale, passando da 3.496 studenti nel 2006 a 37.143 studenti in corso più 480 fuori corso per un totale di 37.623, nel 2018. Hanno infatti partecipato tutti i 49 corsi di studi erogati in lingua italiana ai quali si sono aggiunti 10 dei quattordici corsi di studi erogati in lingua inglese, con il conseguente aumento del numero delle risposte e della mole di dati da raccogliere ed elaborare. I dati sono stati raccolti dalle singole sedi su due matrici studente/domanda nella quale era riportato

  1. il risultato della correzione [1, risposta esatta; 2, risposta errata; 3, nessuna risposta];
  2. la risposta data dallo studente alla domanda [A; B; C; D; E].

I files sono stati poi inviati al Presidente della CPPCLMM&C per consentirne un’adeguata elaborazione. Ai dati grezzi pervenuti sono stati applicati gli Indicatori di Facilità / Difficoltà, la formula KR20 per la valutazione dell’affidabilità della prova e per ogni domanda (Qx) sono state calcolate le percentuali di risposte esatte per tutti gli anni, dal primo al sesto e per tutte le sedi pervenute.

Indicatori di facilità e difficoltà
Premesso che una misura è valida solo se riesce a cogliere il concetto che essa tende a rilevare e che accertare la validità di un test è più complesso che accertarne l’attendibilità (Dancey et al., 2016), una prima elaborazione alla quale sono stati sottoposti i dati grezzi è stato il calcolo degli Indici di facilità medi per gli studenti del V e VI anno. In psicometria l’indice di facilità di un quesito di una prova oggettiva di verifica misura la ‘resistenza’ che il quesito pone alla sua esatta risoluzione ed è dato dal numero di risposte corrette a quel quesito, diviso il totale delle risposte. Il risultato è compreso tra zero ed uno e quanto più si avvicina ad uno la percezione del quesito risulta facile, tanto più si avvicina allo zero, difficile.

Indicato, come da letteratura, un Ifac ideale per una domanda con scelta tra cinque risposte pari a 0,7 è evidente come si siano maggiormente approssimati a questo valore i risultati degli studenti del sesto anno rispetto a quelli del quinto. Il risultato di questo indicatore ha dunque confermato la piena accessibilità del test. Dal momento che il Test era stato predisposto in maniera tale da sollecitare prestazioni direttamente connesse agli obiettivi di apprendimento (validità), i risultati disaggregati, in particolare il coefficiente di variazione calcolato come il risultato della deviazione standard diviso la media (Cvar Tabella 1), potrà essere oggetto di analisi approfondita da parte dei singoli corsi di studi, sia per monitorare eventuali limiti di apprendimento su determinati argomenti oggetto di specifiche domande, sia per analisi di confronto sistematico con altri corsi (benchmark) o con eventuali prove di anni accademici successivi.

Tabella 1: Variazioni dell’indicatore di facilità per macro-area in funzione dell’anno di corso dello studente

Complessivamente, le domande di tutte le macro-aree sono risultate più accessibili agli studenti del VI rispetto a quelli del V anno, a conferma del progresso nell’acquisizione di competenze che si verifica nel corso degli studi. Lo scarto tra l’indice medio di facilità tra il V e VI anno risulta particolarmente elevato per la macro-area “Nascita e crescita” (da 0.67 a 0.77) e questo è in accordo con il fatto che tradizionalmente in Italia la Ginecologia e la Pediatria vengono insegnate nell’ultimo anno di corso. Merita attenzione anche l’incremento dell’indice di facilità che si registra per al-tre macro-aree (“In ambulatorio”, “In emergenza” e “Nel territorio”) a dimostrazione di come si aspetti spesso l’ultimo anno per un insegnamento della medicina “in situazione” in contesti diversi da quelli della corsia nosocomiale.

Indicatore di facilità in funzione della tipologia della domanda

Le domande del training test erano ricon-ducibili a tre diverse tipologie: domande conoscitive mono disciplinari (n=74), domande conoscitive interdisciplinari (n=42) e casi problematici, a carattere scientifico o clinico (n=84). Com’era lecito attendersi, l’indice di facilità per queste diverse tipologie è apparso differente (Tabella 2).

Tipologia della domandaNumero di domandeIndice di facilità
Tutte2000,688
Conoscitiva monodisciplinare740,684
Conoscitiva interdisciplinare420,735
Casi problematici840,669

Tabella 2: Variazione dell’Ifac in funzione della tipologia della domanda

Le domande risultate più “difficili” da risolvere sono stati i casi problematici, quelle più “facili” le domande conoscitive a carattere interdisciplinare. Ciò dimostra che gli studenti Italiani non sono ancora abbastanza allenati a ragionare “per problemi” ma, quando si vanno a verificare le loro conoscenze, appaiono meglio acquisite quelle che hanno imposto un ragionamento interdisciplinare.

Indicatore di facilità in funzione dell’argomento della domanda

Abbiamo voluto verificare se la tipologia di domanda utilizzata e il suo ambito culturale avessero un’influenza sulla “facilità” con la quale gli studenti hanno risposto. Per fare questo, abbiamo isolato il sottoinsieme delle domande “difficili” includendo tra le domande “difficili” quelle relative al 25° percentile delle domande con l’indice di facilità minore. Le 50 domande con indice di facilità più basso (25% sul campione di 200 domande) varia-vano tra un indice di facilità di 0.089 (il più basso) ed uno di 0.588.
Ventidue domande su 50 appartenevano alla classe di quesiti indirizzati a vagliare la capacità interpretativa dello studente, ovvero l’abilità di interpretare dei referti di laboratorio (10), radiologici (4), elettrocardiografici (2), ecografici (2), spirometrici (1), emogasanalitici (1) e perfino le risultanze dell’esame obiettivo (2).
Un altro gruppo corposo (17/50) di domande risultate difficili riguardavano quesiti sulla prescrizione di interventi terapeutici (13) o di esami strumentali (4).
Le rimanenti 11 domande cadute all’interno del 25° percentile potevano essere ricondotte a difficoltà differenti, come quella di interpretare nessi patogenetici (4) o di possedere rudimenti base di statistica o epidemiologia (2). In una sola domanda è ipotizzabile che lo studente sia stato tratto in errore dalla formulazione del quesito: si chiedeva quale tra le lipoproteine avesse la densità minore ma i distrattori non erano stati elencati in ordine di densità, come sarebbe stato lecito attendersi.
La difficoltà incontrata dagli studenti Italiani nel rispondere a domande atte a valutare la capacità interpretativa e quella di risolvere problemi (fare prescrizioni) mette in luce un limite non ancora superato nelle metodologie di insegnamento messe in atto nei CLM Italiani, che sono ancora troppo “teoriche” e sbilanciate a favore dell’acquisizione di competenze conoscitive rispetto alle abilità interpretative e alle meta-competenze cliniche.

Analisi della variabilità con cui è stata data una risposta esatta alle domande

Per ogni domanda è stata misurata la variabilità dell’indice di facilità riscontrato nelle diverse sedi. Per esempio, la domanda che ha fatto registrare la massima variabilità nel tasso di risposte esatte è stata la domanda 56 (Quale farmaco viene impiegato per la pro-filassi della condizione di Eclampsia?) che, nelle diverse sedi, è stata risolta da percentuali di studenti che variano dallo 0 all’87% La variabilità di risultato è stata espressa con tre parametri diversi: la varianza, la deviazione standard e il coefficiente di variazione. L’analisi dei dati ha dimostrato una stretta correlazione tra difficoltà di una domanda e variabilità con cui questa è stata accolta nelle diverse sedi.

Figura 1: Scatterplot con i valori dell’indice di facilità e della varianza delle singole domande

La figura mostra lo scatter plot delle diverse risposte collocate su di un piano cartesiano in funzione dell’indice di facilità (in ascissa) e della varianza nella distribuzione delle risposte (in ordinata). È evidente una correlazione lineare tra le due variabili: le domande più semplici sono quelle che hanno fatto registrare una varianza minore tra le sedi. Se si ragiona, ancora una volta, in termini di percentili di distribuzione, 43 delle 50 domande che rientrano nel 25° percentile delle domande con indice di facilità minore rientrano anche nel 25° percentile delle domande con coefficiente di variazione maggiore.

Diverse tipologie di variabilità

L’analisi delle 50 domande con maggior coefficiente di variazione (25° percentile) ha messo in luce che esistono due tipi di variabilità: una “asimmetrica” ed una “simmetrica”. La variabilità “simmetrica” è stata riscontrata in 14/50 (28%) domande (42, 44, 48, 50, 58, 64, 90, 93, 100, 121, 127, 159, 174 e 183): queste domande sono risultate, a seconda delle Sedi, ora molto difficili (indice di facilità < 0.30), ora difficili (IF >0.30 <0.50), ora facili (IF >0.50 <0.80) e perfino molto facili (IF > 0.80). Negli altri 36/50 casi la variabilità è stata “asimmetrica”, ma in due modi radicalmente opposti: in 20/50 (40%) casi le domande (1, 4, 13, 31, 40, 72, 77, 88, 95, 101, 111, 125, 130, 134, 144, 147, 156, 170, 172, 197) sono risultate generalmente facili con l’eccezione di un numero limitato (<10) di Sedi; in 16/50 (32%) casi le domande (14, 56, 86, 103, 104, 106, 119, 122, 124, 150, 168, 180, 189, 193, 195, 200) sono risultate generalmente difficili con l’eccezione di un numero limitato (<10) di Sedi.

Figura 2: Aerogramma che mostra la distribuzione nelle varie Sedi dell’indice di facilità di alcune domande

La figura mostra un diagramma “a radar” (aerogramma) dell’indice di facilità calcolato, nelle diverse Sedi, per alcune domande.
La domanda Q174 (in alto a sinistra) è un esempio di domanda che ha evocato una variabilità “simmetrica” come è evidente dalla variabilità dell’indice di facilità che oscilla da un minimo di 0.243 a un massimo di 0.889. Le domande Q95 e Q134 (in alto a destra) sono invece esemplificative di domande con variabilità asimmetrica con larga predominanza di indici di facilità elevati (il contorno della linea spezzata) e con alcuni picchi verso indici di facilità assai bassi. La domanda Q195 (in basso a destra) esemplifica l’andamento dell’indice di facilità per una domanda che va considerata generalmente difficile, con un indice di facilità che ha superato in pochissime Sedi il valore di 0.300. La figura in basso a sinistra mette invece a confronto il diagramma radar di una doman-da (la Q100) risultata generalmente facile ma con elevata variabilità (IF da 0.045 a 1.000) e di una (la Q189) risultata generalmente difficile ma con alcune punte di IF superiore a 0.400.

Domande difficili: il ruolo di distrattori “forti”

Alcune domande sono apparse evidentemente più difficili di altre. Ci siamo chiesti cosa abbia maggiormente contribuito alla difficoltà del quesito: la domanda in sé o l’efficacia di alcuni distrattori?
Nella tabella III sono state inserite le nove domande con indice di facilità più basso, ovvero quelle che sono state risolte positivamente da meno di un terzo degli studenti (indice di facilità < 0.33). Per ogni domanda è riportato in tabella il numero di risposte date per ciascun distrattore. Appare evidente che in 6 domande su 9 (le domande 56, 77, 122, 189, 193 e 195) la difficoltà è stata offerta da un “distrattore forte”, così plausibile da essere stato indicato come risposta corretta più spesso della risposta esatta. Nelle 3 rimanenti domande (la 86, la 104 e la 200) anche se la risposta indicata più spesso era effettivamente quella esatta, esistono altri distrattori forti che catalizzano circa il 30% delle risposte date (nella Q86 il distrattore D ha totalizzato il 29% delle risposte date, nella Q104 il distrattore C ha ottenuto il 29% e il distrattore D il 33% delle risposte espresse, e nella Q200 il distrattore D ha avuto il 30% delle risposte date). Se ne deduce che la maggiore difficoltà di alcune domande è stata provocata dalla presenza di “distrattori forti”, così plausibili da essere considerati la risposta esatta in percentuali elevate.

Uno strumento di lavoro
La analisi disaggregata degli indici di facilità Ifac (eseguita in fase iniziale solo per gli studenti del V e del VI anno) per singola domanda e per singola sede ha consentito di apprezzare una discreta variabilità tra le sedi degli indici di specifici quesiti. Da ciò nasce la proposta di fornire alle singole sedi che ne faranno richiesta un’analisi puntuale per ciascuna domanda di come è risultato l’indice di facilità per la sede nel raffronto con la media nazionale per lo specifico quesito. Un esempio è riportato nella Tabella IV.

Tabella 4: Indice di facilità riscontrato nella Sede al V e VI anno per ciascuna domanda, messo a raffronto con l’indice di facilità medio nazionale.

La tabella relativa ai primi 20 quesiti del Test 2018 per gli studenti del V e VI anno della sede in esame, riporta nelle colonne MEDIO il valore medio nazionale di Ifac e nelle colonne SEDE quello della sede in esame. Al fine di facilitare la lettura nella terza colonna è riportato graficamente, il rapporto tra il valore della sede e quello nazionale (pallino verde >1;
pallino rosso <0,85; pallino giallo compreso tra 0,85 e 1). Tale analisi consente a ciascuna sede di individuare aree o puntuali obiettivi di apprendimento per i quali esistono spazi di miglioramento nella pianificazione della didattica del corso di studi, al fine di utilizzare questo monitoraggio delle competenze e conoscenze acquisite per l’aggiornamento costante dell’offerta formativa, in un’ottica di miglioramento continuo (Requisito AVA R3.D, punto di attenzione R3.D.3)

Conclusioni
Attraverso la nuova elaborazione del PT / TT, acquisita la consapevolezza della solidità del nostro processo formativo il cui prodotto è la formazione della figura del ‘Medico nazionale’, forniamo uno strumento alle diverse sedi non solo sull’acquisizione di informazioni sulle competenze trasversali ma anche un’interpretazione delle competenze disciplinari. Il nuovo TT infatti è uno strumento di grande utilità sia per i singoli corsi di studio che possono individuare criticità e punti di miglioramento nella valutazione di prodotto sempre nell’ottica dell’implementazione del processo continuo di Assicurazione della Qualità, sia per gli estensori delle domande per migliorare l’affidabilità della prova.

Bibliografia

Crocetta C, Brindisi M, Lo Muzio L: Analisi dei Risultati del Progress Test 2017 dei Corsi di Laurea in Odontoiatria e Protesi Dentaria. Med. Chir. 78: 3487-3493, 2018.

Dancey C P, Reidy J G, Rowe R: Statistica per le scienze mediche, un approccio non matematico. Piccin-Nuova Libraria, Padova, 2016.

Gallo P: Cosa cambia con la laurea abilitante per la Professione medica Tra progress test e training test. Med. Chir. 79: 3524, 2018

Lenzi A, Familiari G, Basili S, Moncharmont B, Con-sorti F, Nati G, Della Rocca C, Gallo P: Progress /Training test 2018. Quesiti e risposte Med. Chir. 80: 3546-3574, 2018.

Mucciarelli G, Chattat R, Celani G: Teoria e pratica dei test. Piccin-Nuova Libraria, Padova, 2002.

Tenore A, Basili S, Lenzi A: Il Progress Test 2016. Med. Chir 75: 3386-3390, 2017.

Cita questo articolo

Recchia L., Montcharmont B., Gallo P., Dal Progress Test al Training Test: una prima elaborazione dei dati, Medicina e Chirurgia, 81: 3594-3600, 2019. DOI: 10.4487/medchir2018-81-1

Affiliazione autori

Laura Recchia – Coordinatrice U.G.Q. (Unità di gestione della Qualità) Corso di Laurea Magistrale in Medicina e Chirurgia, Università degli studi del Molise.

Bruno Montcharmont – Presidente del Corso di laurea Magistrale in Medicina e Chirurgia, Università degli studi del Molise.


Pietro Gallo – Gruppo di lavoro Qualità e Innovazione della Didattica, Università degli studi di Roma La Sapienza.


Strategie didattiche centrate sullo studente nei CLM in Medicina. I. Da una didattica basata sull’insegnamento ad una centrata sull’apprendimenton.78, 2018, pp. 3494-3496, DOI: 10.4487/medchir2018-78-3

Abstract

The aim of this editorial is to recall the paradigm shift from teacher-centred to student-centred undergraduate education, in order to introduce a series of three articles on the topic of learning strategies of Italian medical students.

The shift towards student-centred education begins with the curriculum design, aimed to modulate the learning objects on the different outcome competencies that medical students have to acquire. Then, the various kinds of competencies must be aligned with the consistent modes of teaching and of learning assessment.

To favour this shift, the working group of medical education of the Italian Conference of the Presidents of Undergraduate Curricula in Medicine opened a debate on the question whether the teaching strategies carried out in our curricula are in keeping with the learning attitudes of our students. A forum was accordingly organized to discuss three of these learning strategies: the study groups; students’ transcriptions of lectures; and IT platforms and new media.

Three different articles will follow on these subjects, aimed to evaluate how to verify, validate, promote and integrate students’ learning strategies with our teaching tools.

Key words: Medical Education; Student-centred education; Competencies; Learning Objects

*****

Lo scopo di questo editoriale e di richiamare il cambio di paradigma da una didattica universitaria centrata sul docente a una centrata sullo studente, al fine di introdurre tre articoli sul tema delle strategie di apprendimento degli studenti in medicina italiani.

Lo spostamento verso la didattica centrata sullo studente inizia con la pianificazione del curriculum degli studi, finalizzato a modulare gli obiettivi di apprendimento sulle diverse competenze in uscita che gli studenti in medicina devono acquisire. Successivamente, i diversi tipi di competenze devono essere allineati con le pertinenti modalità di insegnamento e di valutazione dell’apprendimento.

Per favorire questo spostamento di paradigma, il gruppo di lavoro Innovazione Pedagogica della Conferenza Permanente dei Presidenti di CLM in Medicina ha aperto un dibattito sul quesito se le strategie di insegnamento portate avanti nei nostri corsi di laurea sono coerenti con le attitudini di apprendimento dei nostri studenti. È stato così organizzato un forum per discutere tre di queste strategie di apprendimento: i gruppi di studio; le trascrizioni delle lezioni (le cosiddette sbobinature); e le piattaforme informatiche e i nuovi media.

Seguiranno tre differenti articoli su questi temi, finalizzati a valutare come verificare, validare, promuovere e integrare le strategie di apprendimento degli studenti con i nostri strumenti di insegnamento.

Parole chiave: Pedagogia medica; Didattica centrata sullo studente – Competenze – Obiettivi di apprendimento

Articolo

È in atto, nella didattica universitaria, un cambio di paradigma con il passaggio da una dimensione della didattica centrata sul docente, e sull’insegnamento, a una basata sullo studente, e sull’apprendimento. Non si tratta di modificare solo l’angolo di visuale, ma di un mutamento radicale, che investe dimensioni molteplici (Tabella I).

Schermata 2018-09-04 alle 16.28.55

Il mondo universitario ha finora visto come la propria missione principale – se non unica – quella di produrre nuove conoscenze attraverso la ricerca scientifica, con il fine subalterno di trasferirleagli studenti.

Grazie ai progressi della pedagogia e della ricerca didattica, tuttavia, sta maturando progressivamente la consapevolezza che la promozione efficace dell’apprendimento dello studente non è una missionsubalterna per l’Accademia. In questa ottica, l’asse lungo il quale si sviluppa il curriculum degli studi universitari non è più quello di un “programma da svolgere” scelto “a priori” dal corpo docente ma quello delle “competenze che gli studenti devono acquisire”, individuate d’intesa con gli stakeholders.

Programmare per competenze significa rendersi conto che queste si distribuiscono su un ampio spettro di acquisizioni cognitive: dalle conoscenze(da apprendere, memorizzare, richiamare, rielaborare criticamente) che costituiscono il saperedello studente, alle abilità(interpretative, relazionali e operative) che attengono al campo del saper fare, alle attitudini(professionali ed etiche) che rientrano nella sfera del saper essere, alle meta-competenze clinicheche implicano il richiamo delle conoscenze e delle abilità da mettere al servizio della capacità di risolvere problemi e prendere decisioni e che richiedono la formazione di un professionista riflessivo.

Lo spettro delle competenze trasversali ha trovato un’efficace codifica nei cosiddetti Descrittori di Dublino: conoscenza e capacità di comprensione; conoscenza e capacità di comprensione applicate; autonomia di giudizio; abilità comunicative; capacità di apprendere.

Partire dall’apprendimento e dalle competenze da acquisire significa poi ripercorrere – e allineare– tutto il processo di definizione delle modalità di insegnamento e di verifica dell’apprendimento. Decenni di ricerca pedagogica, e di “buone pratiche” didattiche, hanno insegnato che non esiste né un’unica modalità di insegnamento efficace, né “la” forma migliore di insegnamento se avulsa dal contesto. La lezione frontale mantiene il suo impatto, specie se orientata alla pratica della flipped class, nell’insegnamento delle conoscenze, mentre la didattica a piccoli gruppi, al letto del paziente, nello skill lab o sul campo, nel territorio, è indispensabile per l’apprendimento delle abilità. Parimenti, le competenze cliniche si apprendono in contesti reali o in simulazioni realistiche.

Lo stesso discorso vale per la valutazione dell’apprendimento.

C’è ancora spazio per l’esame orale, ma l’acquisizione delle conoscenze può essere verificata più rapidamente – e in modo più obiettivo – con prove scritte. L’apprendimento delle abilità deve essere necessariamente valutato con una prova pratica, così come le competenze cliniche vanno verificate “in contesto”.

Procedura essenziale del lavoro di insegnamentoapprendimento è quindi il cosiddetto “allineamento” tra competenze, modalità di insegnamento e forme di valutazione in modo che queste siano coerenti tra loro.

Il sistema internazionale TUNING, con le sue matrici, offre uno strumento assai efficace per realizzare questo allineamento (Figura 1).

Schermata 2018-09-04 alle 16.30.23

In questo contesto di cambio di paradigma, la Conferenza Permanente dei Presidenti di CLM in Medicina si è interrogata sullo scarto esistente tra modalità di insegnamento e forme di apprendimento.

Il Gruppo di Lavoro Innovazione Pedagogicaha messo a punto una serie di eventi pedagogici che si seguiranno per tutto l’anno 2018.

Abbiamo iniziato (Roma, 21 Gennaio 2018) con la lettura magistrale tenuta da Fabrizio Consorti, dal titolo “Il cambiamento del ruolo del docente nel grande gruppo: da chi trasmette informazioni (lezione frontale) a chi facilita l’apprendimento (flipped class)”e abbiamo proseguito con il Forum (Trieste, 20 Aprile 2018) dal titolo “I nostri strumenti didattici sono adeguati all’apprendimento dello studente?”. In questo Forum, tre laboratori paralleli si sono interrogati su altrettante forme di apprendimento che sembrano essere privilegiate dagli studenti in Medicina italiani: i gruppi di studio, le trascrizioni delle lezioni (le cosiddette sbobinature) e le piattaforme informatiche e i nuovi media.

A questo breve testo introduttivo, seguiranno altri tre articoli, pubblicati sempre su Medicina e Chirurgia, che faranno il punto su queste tre forme di apprendimento, interrogandosi sul ruolo che il docente può svolgere per integrarle, verificarle, validarle, al fine di realizzare una sinergia tra le forme di insegnamento messe in atto dal docente e quelle di apprendimento messe in essere dallo studente.

Cita questo articolo

Gallo P., et al., Strategie didattiche centrate sullo studente nei CLM in Medicina. I. Da una didattica basata sull’insegnamento ad una centrata sull’apprendimento, Medicina e Chirurgia, 78: 3494-3496, 2018. DOI: 10.4487/medchir2018-78-3

Criteri e parametri di valutazione della didattica ai fini della valutazione del docenten.63, 2014, pp.2830-2841, DOI: 10.4487/medchir2014-63-2

Abstract

The Working Group (WG) has identified a number of topics that constitute the “quality of teaching” vast planet with particular emphasis on aspects related to the “quality of Teacher” in a perspective of integrated educational and scientific evaluation of the teacher.

In this document, which is a synthesis of what has been discussed and approved by the Standing Conference of the Presidents of the Council of  Degree in Medicine and Surgery, the most critical issues arised following the implementation of the ANVUR-AVA legislation are discussed and a series of corrective actions in areas of particular significance for the evaluation of the Teacher in the School of Medicine are proposed.

Articolo

A. Premesse generali alla valutazione della didattica

1. Valutare e  misurare

La valutazione è “un atto (che implica nei casi di maggiore complessità, raccolta di informazioni, analisi e riflessione) tendente alla formulazione di giudizi di valore su un oggetto, su una situazione o su un evento” (Lipari 1995). Questo implica che vi siano dei criteri socialmente e culturalmente condivisi e che il soggetto valutante sia in possesso di un’autorità e di una legittimazione tale da essere riconosciuta da parte del valutato.

“La valutazione deve poter avere conseguenze nella realtà. Non è quindi solo produzione di un giudizio, ma produzione di un giudizio che consenta di fare” (Bisio 2002).

La valutazione è “un evento politico, essa non ha carattere neutro ed è esposta, a sua volta, a condizionamenti da parte dei committenti o delle parti interessate. Per tali peculiarità, gli esiti della valutazione, oltre a costituire un’informazione utile per impostare, correggere, migliorare programmi sociali, possono anche essere costruiti e utilizzati allo scopo di legittimare le iniziative assunte e i programmi già avviati” (Fraccaroli, Vergani 2004).

Riguardo gli oggetti della valutazione è possibile distinguerli in due diverse categorie, che danno luogo alla “valutazione di prodotto” e alla “valutazione di processo”. La prima si basa sulla verifica della rispondenza tra obiettivi e risultati (Tyler 1949), è nata dall’esigenza di abolire azioni basate sulla casualità, l’improvvisazione, l’ambiguità. Per poter valutare è necessario definire prima obiettivi descritti come comportamenti attesi e necessita quindi di una standardizzazione. La seconda si basa sull’accertamento del valore sociale ed educativo di un’azione formativa (Eisner 1967) ed in campo educativo è nata dall’esigenza di far luce sul processo di apprendimento per migliorare l’offerta formativa.

Per ottenere un risultato soddisfacente sono necessarie entrambe: la valutazione di prodotto consente di verificare se il risultato finale corrisponde a quanto stabilito e per questo necessita di una definizione esatta di quanto bisogna produrre ma “poiché un risultato è sempre la conseguenza di un processo d’azione, senza l’analisi del processo, la comprensione dei risultati risulta fortemente problematica e comunque parziale” (Lipari 1995). La valutazione di processo si occupa di tutti gli aspetti che lo caratterizzano dall’inizio alla fine.

Permette di riflettere su tutto il percorso formativo cogliendo anche quegli aspetti che una valutazione di prodotto non permetterebbe di osservare ma senza la valutazione del prodotto può dar luogo a risultati aberranti.

Da queste considerazioni emerge la necessità di sviluppare per ambiti molto complessi, quali ad esempio quello formativo, modelli di valutazione integrata sia di prodotto che di processo. Attraverso questo passaggio potrà realizzarsi nel tempo l’adeguamento del nostro sistema universitario a modelli consolidati e condivisi a livello internazionale, in particolare in accordo con quanto stabilito dall’European Association for Quality Assurance in Higher Education, ENQA, nel documento Standards and Guidelines for Quality Assurance in Higher Education, ESG.

L’introduzione di un sistema di valutazione, soprattutto in ambito formativo, deve essere in linea con i seguenti principi:

i.  valorizzazione del merito;

ii. garanzia di pari opportunità di diritti …ma anche di doveri;

iii. trasparenza dei risultati conseguiti;

iv. tempestività di diagnosi ed efficacia di intervento correttivo attraverso strutture accreditate per l’incident reporting per la segnalazione di “non conformità” (malfunzionamenti, disguidi, inosservanze delle norme, inceppamenti organizzativi, etc.);

v. definizione degli strumenti per gli interventi correttivi.

La misurazione intende quantificare, attribuire un punteggio secondo certi parametri. Ha l’obiettivo di consentire una stima, sulla base di un sistema di riferimento condiviso, delle informazioni sulle quali si intende operare o che debbono essere considerate ai fini di formulare un giudizio. Nella misurazione, attribuiamo dei valori numerici a oggetti o ad eventi secondo regole che permettono di rappresentare caratteri degli oggetti o eventi in questione con proprietà del sistema numerico. Per questioni sperimentali e teoriche (ad esempio il principio di indeterminazione di Heisenberg) ciò che intendiamo misurare non è, in realtà, descrivibile da un solo valore numerico, anche ipotizzando una precisione di misurazione infinita. Ciascuna misura è quindi una stima del valore vero. Per ragioni pratiche occorre quindi definire un intervallo entro cui la misura viene considerata accettabile. Quando intendiamo misurare parametri riferibili ad un prodotto o ad un processo è quindi essenziale definire gli standard di riferimento.

La valutazione tiene conto di attributi concreti, prevalentemente unidimensionali, risultati della misurazione ma non solo di essi in quanto è espressione anche di valori aggiuntivi non direttamente misurabili consistenti per esempio in benefici emotivi che riguardano attributi astratti, prevalentemente multidimensionali, non oggettivamente misurabili.

Nel mondo della Scuola-Università i termini misurazione e valutazione sono due funzioni spesso (con)fuse insieme.

2. La valutazione nella attuale realtà universitaria italiana

Nella attuale realtà universitaria (non solo italiana) l’attenzione riservata ai temi valutativi sembra essere prevalentemente il risultato di scelte politiche provenienti dall’esterno (SISTEMA ANVUR/AVA), come esito di una pressione esogena più che un bisogno emergente all’interno dell’organizzazione

Sicuramente nel corpo docente non esiste una diffusa cultura della valutazione ma non c’è ostilità preconcetta verso l’azione valutativa in sé, quanto piuttosto un sostanziale rifiuto verso una valutazione che si esprime unicamente in giudizi di adeguatezza o inadeguatezza.

E’ questo un effetto negativo, prodotto da forme di valutazione oggettiva dirette a fare classifiche e a stabilire la quota di risorse che vanno alle università in conseguenza di questa valutazione e che molto difficilmente riescono a favorire e sostenere processi di messa a punto e di superamento delle carenze rilevate (vedi a proposito  la “Raccomandazione sul DM 47/13” espressa dal CUN nell’adunanza del 27/3/13).

Il rischio di rifiuto diventa molto rilevante se gli indicatori scelti generano risultati aberranti e se il processo di valutazione è percepito come incompleto o parziale.

B. Valutazione della didattica-Valutazione del docente

1. Qualità della didattica: una scelta politica

In una prospettiva di facoltà o scuola di qualità l’attenzione alla qualità della docenza sembra essere un nodo essenziale, poiché si stima che in assenza di insegnanti competenti ed efficaci vengono a mancare le premesse fondamentali per la qualità della didattica e dell’offerta formativa.

Alla qualità del docente si accompagna la qualità dell’organizzazione della didattica (modalità della didattica, adeguatezza delle risorse umane o di struttura, ecc.), proveniente dalle determinazioni che riguardano il livello politico, amministrativo, organizzativo e gestionale su cui però la scuola o facoltà non sempre ha il potere di condizionare le scelte da adottare.

Le attuali pratiche valutative della didattica universitaria sono fondate principalmente sul rapporto fra docente e studente, dove chi apprende esprime un valore rispetto al processo di insegnamento avvalendosi di questionari/interviste come strumenti privilegiati di giudizio. Tali questionari sono costruiti soprattutto sulla filosofia della customer satisfaction, tendente a valorizzare l’assunzione di responsabilità delle organizzazioni formative e il potere del consumatore.

La student satisfaction, nonostante le tipiche aree di criticità da più parti rilevate, se opportunamente contestualizzata e delineata in relazione al valore formativo della valutazione, può motivare processi di revisione della pratica di insegnamento attuata dal docente, ma se considerata come fonte esclusiva (o quasi esclusiva) di informazione sullo stato della didattica rischia di ridurre gli spazi di intervento per il miglioramento della qualità. Sono quindi auspicabili nella valutazione della didattica/docente analisi a più livelli, pluralità di metodi e strumenti da adottare, pluralità di contesti da esaminare non solo basati su tale contesto.

2. Valutazione del docente: aspetti critici

La disponibilità del docente ad essere valutato e a rendere conto del proprio operato con misure oggettive (teacher accountability) è il prerequisito per affermare una pratica valutativa. L’esercizio della valutazione è, per il nostro sistema Universitario, certamente un inevitabile cambiamento epocale. A lungo infatti si è sottratto a tale necessità ed ancora oggi la sua applicazione è molto disomogenea. Accanto ad una diffusa mancanza di standardizzazione dei parametri di giudizio e condivisione di comportamenti c’è un aspetto molto rilevante che fino ad ora non è stato affrontato: la motivazione a farsi valutare. È infatti innegabile che, fino a quando la didattica rimarrà un’attività senza peso nella carriera del docente universitario, sarà molto difficile implementarne la valutazione. La valorizzazione delle attività svolte dal docente in termini di qualificazione e mantenimento della competenza didattica, anche se apparentemente un’ovvia conseguenza dell’operare nell’Università, è poco riconosciuta. Attualmente infatti la carriera del docente viene influenzata dalla ricerca (abilitazione nazionale e valorizzazione dei prodotti della ricerca) ma non dalla didattica. Quello speso nell’acquisizione di specifiche competenze, il mantenimento delle stesse, l’eccellenza (o il deficit), la coerenza con il mandato formativo assegnato nei Corsi di Laurea o nelle Specializzazioni viene quasi considerato tempo sottratto alla possibilità di fare ricerca (o assistenza).

Le principali criticità della pratica valutativa nell’attuale modello sono:

i.  La mancanza della definizione esatta ed inequivocabile degli obiettivi sul raggiungimento dei quali effettuare una verifica. In un buon sistema di qualità è infatti essenziale definire gli standard sia di prodotto che di processo che si intende raggiungere;

ii.  La mancanza di una formazione degli studenti come valutatori per esprimere un giudizio basato su regole e comportamenti condivisi;

iii. L’assenza della definizione di criteri oggettivi per cui si abbia da parte degli studenti la percezione che i loro sforzi nella valutazione diano risultati in termini di miglioramento della didattica poiché la qualità della partecipazione e della motivazione degli studenti è una premessa iniziale per il successo delle valutazioni degli insegnamenti/docenti;

iv. La scarsa flessibilità del modello di valutazione adottato (es., questionario) da sottoporre agli studenti in momenti differenti del corso tale per cui si riesca a cogliere l’aspetto evolutivo della percezione degli studenti riguardo al corso stesso con la possibilità di confrontarla con quella dei docenti;

v. La mancanza della valorizzazione della competenza didattica;

vi. La assenza di strumenti per identificare le situazioni aberranti ed intervenire per correggerle.

C. Valutazione del docente nella Scuola di Medicina

1. Le caratteristiche distintive dell’ordinamento degli studi medici

Esistono alcune caratteristiche peculiari e distintive dell’ordinamento degli studi medici che è bene sottolineare per giustificare la necessità di strumenti di valutazione specifici in questo contesto:

i.  Il Corso integrato: la specializzazione – e la parcellizzazione – del sapere medico hanno reso necessario il ricorso sistematico al corso integrato (CI) nella programmazione curricolare. Il significato ed il grado di integrazione dei CI variano notevolmente nella realtà, passando da CI mono-disciplinari con integrazione limitata ad una collaborazione di docenti della stessa disciplina, a CI multi-disciplinari nei quali si alternano docenti di settori scientifico-disciplinari differenti, a CI inter-disciplinari nei quali si realizza una reale integrazione con l’organizzazione di unità didattiche complesse e di copresenze. Pertanto nella valutazione del docente occorre tenere distinti due aspetti, uno relativo al CI (come riuscita complessiva), l’altro relativo ai singoli docenti che compongono il CI (caratteristiche di insegnamento/docenza).

ii. L’attività professionalizzante ed il tutor clinico: negli attuali schemi didattici largo spazio viene dato al tirocinio professionalizzante. Il tutor clinico non solo deve avere le competenze specifiche per l’ambito didattico per il quale è richiesto il suo contributo (così come il docente che svolge l’attività didattica formale) ma deve soprattutto operare in modo da permettere allo studente di elaborare un proprio profilo operativo (imparare “a fare”). Pertanto nella valutazione del docente nella Scuola di Medicina occorre tenere distinte le due figure: il professore e il tutor clinico (che possono anche essere la stessa persona a seconda della numerosità del personale ma con funzioni distinte)

iii. La Frequenza: a Medicina esiste l’obbligo certificato di frequenza per tutti gli studenti sia che si tratti di attività di didattica formale che di attività di tirocinio professionalizzante.

2. Gli ambiti di valutazione

Come discusso nell’introduzione, ambiti complessi, come appunto quello formativo, richiedono approcci valutativi multidimensionali, con analisi a più livelli, pluralità di metodi e strumenti da adottare, pluralità di contesti da esaminare (nel nostro caso non solo confinati all’attività didattica propriamente detta). Lavorando su questa base, il Gruppo di lavoro ha identificato quattro ambiti di valutazione del docente nella Scuola di Medicina:

1) Autovalutazione;

2) Valutazione del docente da parte degli studenti;

3) Valutazione del Tutor clinico da parte degli studenti;

4) Altre forme di valutazione del docente.

I quattro ambiti sono discussi in un’ottica di un percorso valutativo integrato e, laddove esistenti, le nostre proposte sono messe a confronto con le procedure ANVUR/AVA attualmente in vigore.

2.1 Autovalutazione

La scheda predisposta dall’ANVUR (Scheda n. 7, da compilarsi a cura del docente per ogni insegnamento) è divisa in due parti:

i. aspetti organizzativo-strutturali (carico di studio accettabile, orario lezioni, aule e servizi di supporto, etc., 6 items) e

ii. aspetti didattici (conoscenze preliminari, coordinamento, modalità esame, soddisfazione complessiva del docente, 4 items).

Le domande sono molto generali e prevedono come risposta un giudizio/opinione espressa dal docente con una scala valutativa a quattro gradi (da decisamente no a decisamente sì).

Il docente ha l’obbligo di compilare la scheda dopo lo svolgimento dei 2/3 delle lezioni e di consegnarla agli uffici competenti insieme al Registro delle attività didattiche al termine dell’anno accademico (31 ottobre anche se dovrebbe essere 30 settembre viste le semestralizzazioni).

Il GdL ritiene che la scheda così come predisposta dall’ANVUR/AVA, più che un’autovalutazione ex post del docente in merito alla qualità della realizzazione del corso, appare essere un dispositivo formale finalizzato ad adempimenti burocratici e come tale non sufficiente a garantire il raggiungimento dei due obiettivi fondamentali sottesi all’autovalutazione:

i. A livello personale: sviluppare nel docente un atteggiamento critico verso il proprio operato (practical reflections, educational criticism);

ii. A livello istituzionale: promuovere una responsabilizzazione del docente (teacher accountability) coinvolgendolo come parte integrante del processo di miglioramento dell’istituzione universitaria.

Proposte del GdL

Vista l’importanza del processo e l’assenza di una cultura e di una pratica diffusa di autovalutazione nelle Scuole di Medicina italiane, si propone un modello di autovalutazione più articolato composto dal questionario per l’autovalutazione del docente ed il teaching portfolio.

a) Questionario per l’autovalutazione del docente.

Si propone un questionario (Hoyt e Pallett 1999, modificato) composto da due sezioni. La prima sezione si riferisce al C.I. e contiene domande riguardanti:

1) il contesto in cui è collocato il CI (sia rispetto alle caratteristiche degli studenti, sia rispetto ad altri CI del curriculum;

2) gli obiettivi del CI;

3) le strategie didattiche impiegate;

4) i materiali didattici utilizzati;

5) le modalità di valutazione del profitto degli studenti adottate.

La seconda sezione si riferisce al singolo docente e contiene domande su:

1) le attività svolte in aula;

2) il coordinamento didattico con gli altri colleghi del CI.

L’obiettivo del questionario per l’autovalutzione è quello di spingere il docente a farsi le seguenti domande: 1 – è corretto il contesto in cui è collocato il corso integrato? 2 – sono chiari gli obiettivi del corso integrato? 3 – sono state discusse le strategie didattiche? 4 – i materiali didattici sono soddisfacenti e facilmente reperibili? 5- le modalità di valutazione del profitto sono state discusse dai docenti del corso integrato? 6 – è stato soddisfacente il coordinamento didattico? 7 – sono stati tenuti presenti nell’ambito del CI e nei singoli moduli i descrittori di Dublino? 8 – i cfu assegnati sono insufficienti o meno? 9 – il numero di ore di lezione e la loro organizzazione sono soddisfacenti? 10 – le attrezzature per le attività in aula sono adeguate?

Come tempistica di rilevazione, il questionario va compilato annualmente dal docente a chiusura del ciclo di lezioni e consegnato agli Organi di Valutazione interna per gli adempimenti del caso.

b) Teaching portfolio.

Una delle procedure indicate come la più adeguata a sensibilizzare il docente all’autovalutazione è quella della produzione del teaching portfolio.

Il teaching portfolio (da non confondere con il Registro delle attività didattiche) rappresenta una raccolta di dati, attestati, materiali vari, documentazione ufficiale, sulle attività del docente. La raccolta delle informazioni contenute nel portfolio non deve essere necessariamente esaustiva di tutte le attività compiute dal docente, ma presentare una selezione di quelle attività che egli considera didatticamente efficaci e qualitativamente importanti.

Dall’analisi della letteratura emerge che la costruzione del portfolio può avere una valenza sia soggettiva e servire al docente come stimolo all’autoriflessione, che istituzionale e servire al docente come un prodotto da utilizzare per integrare la documentazione della sua attività in vista della sua progressione di carriera.

Il portfolio potrebbe inoltre costituire, insieme ai risultati dei questionari di valutazione (sia autovalutazione del docente che valutazione del docente da parte degli studenti), uno strumento utile per misurare la qualità dei docenti e formulare una graduatoria di merito interna con effetti premiali per i più bravi (riconoscimenti di prestigio o economici o di carriera).

Gli elementi particolarmente significativi per la costruzione del teaching portfolio (trasformabili in indicatori a fini valutativi) possono essere:

i.  Tesi (numero e qualità) seguite dal docente come relatore;

ii. Risultati del progress test relativi all’area di riferimento del docente mediante l’analisi critica effettuata insieme agli altri colleghi del CI;

iii. Risultati degli esami  (rispondenza dei risultati rispetto agli obiettivi del CI, livelli di performance da parte degli studenti, analisi dell’andamento/risultanze, al di là del semplice score);

iv. Percentuale di presenze del docente ai consessi degli organi di governo (Consigli Struttura di Raccordo, Facoltà, Scuola, etc.);

v.  Partecipazione del docente a Commissioni relative all’organizzazione, programmazione, valutazione dell’attività didattica (es. Commissione Tecnica di Programmazione didattico-pedagogica, Commissione Paritetica etc.);

vi. Valutazione dei giudizi riportati dagli studenti (analisi critica e soluzioni formulate insieme agli altri colleghi del CI in caso di esiti negativi);

vii. Adesione ai descrittori di Dublino;

viii. Partecipazione del docente ad attività di formazione pedagogica finalizzate a migliorare le sue competenze in termini di progettazione, erogazione, valutazione del percorso di apprendimento. Con riferimento a quest’ultimo punto, potrebbe essere utile introdurre un sistema di accreditamento sul modello degli ECM (S.I.Pe.M., Atelier didattici della Conferenza, etc.).

La costruzione del teaching portfolio, come pratica autovalutativa, è a nostro avviso molto importante non solo su un piano concettuale innovativo ma anche tecnico di valutazione perché soddisfa il criterio dell’approccio valutativo multidimensionale includendo misure/valutazioni sia di processo (come il docente ha agito) che di risultato, quest’ultimo a sua volta inteso sia come output (quanto il docente ha prodotto) che come outcome (quale effetto ha avuto l’attività del docente rispetto agli obiettivi prefissati).

2.2 Valutazione del docente da parte degli studenti

Nella Scuola di Medicina italiana la valutazione dell’insegnamento/docente da parte degli studenti è pratica ormai accreditata, ben prima dell’introduzione del sistema ANVUR/AVA, anche se si registrano vistose difformità nei modelli sviluppati/criteri di applicazione adottati nelle differenti sedi.

I nodi ancora da sciogliere riguardano non tanto e non solo gli strumenti da adottare (di cui discuteremo più avanti) quanto piuttosto l’applicazione dei principi su cui si basa un sistema di valutazione efficace, applicazione ancora inesistente nella quasi totalità delle sedi.

Occorre pertanto considerare i seguenti aspetti:

i. sensibilizzazione dello studente alla valutazione (chi insegna agli studenti a valutare per garantire da parte loro un giudizio oggettivo ed omogeneo e come). Allo scopo potrebbero essere utilizzati brevi corsi sommministrati anche on-line;

ii. definizione di criteri oggettivi condivisi che trasmettano agli studenti la percezione che i loro sforzi nella valutazione diano risultati in termini di miglioramento della didattica;

iii. avvio di procedure validate per l’incident reporting, incluse sanzioni e correttivi da applicare in caso di inadempienze o omissioni.

Passando agli strumenti e prima di discuterne, è bene ricordare gli obiettivi sottesi alla valutazione del docente da parte dello studente che sono: espliciti di tipo culturale (la proposta di contenuti disciplinari da parte dei docenti, perché essi vengano appresi dagli studenti) e formativi (lo sviluppo personale e professionale dello studente). L’altro aspetto da ricordare riguarda l’attenzione all’efficacia versus eccellenza del docente. L’efficacia, ovvero il rendere sempre più efficaci i processi di insegnamento considerando prioritariamente la crescita culturale e professionale degli studenti, è un concetto che domina lo scenario internazionale da più di un decennio, collegato alla qualità della didattica complessiva dei corsi di laurea ed alle connessioni di questa con gli standard per valutarla e le eventuali procedure di accreditamento. La valutazione dell’efficacia si traduce sostanzialmente in termini di valutazione dell’apprendimento e della soddisfazione degli studenti. L’eccellenza ovvero l’esplorazione e adozione da parte del docente di nuovi approcci all’insegnamento e all’apprendimento, è un concetto più sofisticato e meno praticato, che richiede forme valutative più complesse (come dossier, peer- e self-evaluation) all’interno di una valutazione istituzionale.

La scheda predisposta dall’ANVUR per la valutazione del docente da parte dello studente (Scheda n. 1) è divisa in tre parti:

i.  aspetti di insegnamento (conoscenze preliminari, carico di studio/CR, materiale didattico adeguato, definizione delle modalità d’esame, 4 items);

ii.  aspetti di docenza (orari e puntualità del docente, qualità di insegnamento, attività didattiche integrative, etc, 6 items);

iii. interesse dello studente agli argomenti trattati (1 item); a queste tre parti si aggiunge una sezione di  “Suggerimenti al docente” (9 items già prefissati tra i quali optare, es., alleggerire il carico didattico complessivo, inserire prove d’esame intermedie, etc.).

Per le prime tre parti si richiede allo studente di esprimere un giudizio (quattro gradi di giudizio/ item, da decisamente no a decisamente sì).

Commentando la scheda predisposta dall’ANVUR e relativamente alla obbligatorietà e tempistica di rilevazione, vogliamo far notare che

i. l’obbligatorietà di compilazione deve essere per noi, più che un adempimento burocratico, un valore a cui educare lo studente di medicina;

ii. la tempistica di rilevazione al momento dell’iscrizione all’esame, qualora quest’ultimo si svolga a distanza di molti mesi dal corso, rende le risposte poco attendibili.

Suggeriamo come strumento migliore quello di un questionario di gradimento/soddisfazione da sottoporre a tutti gli studenti a lezione, possibilmente alla fine del CI, piuttosto che all’atto dell’iscrizione all’esame per evitare che passi troppo tempo tra attività e raccolta dei dati.

Relativamente alla formulazione della scheda, sulla base di quanto discusso sopra e dell’esperienza maturata in alcune sedi, proponiamo un modello più articolato rispetto a quello dell’ANVUR/AVA, composto da due sezioni:

– una prima di soddisfazione complessiva – aspetti di contesto, riferita al CI (6-8 item, soddisfazione, interesse agli argomenti, utilità o meno di ripetizioni e sovrapposizioni rispetto ad altri CI, etc.)

– una seconda riferita al “docente”, predisposta nominalmente per tutti docenti del CI, composta da due parti:

i.  aspetti organizzativi (pochi item, es., puntualità del docente all’inizio delle lezioni,  modalità di svolgimento dell’esame,etc.) e

ii. aspetti di docenza propriamente detta (5-6 item), questi ultimi relativi sia alla capacità del docente di attivazione cognitiva (es chiarezza espositiva, trattazione esauriente) che alla capacità del docente di supporto al learning (es., se il docente risponde a domande, se fa domande e lascia tempo per le risposte, se i contenuti di apprendimento sono appropriati rispetto ai prerequisiti richiesti, anche utilizzando gli obiettivi dei singoli core curricula così come raccolti dalla Conferenza).

A queste due sezioni se ne aggiunge una riferita al C.I., che comprende due domande, una sul carico di lavoro complessivo rispetto ai crediti formativi assegnati al CI ed un’altra sulla effettiva integrazione tra i docenti .

Un totale di circa 20 domande che riguardano sia il CI che i singoli docenti. A queste tre sezioni si può aggiungere una quarta di “Suggerimenti” identica a quella proposta dall’ANVUR (Scheda n. 1, vedi sopra).

Nota. Con riferimento alla valutazione del docente da parte degli studenti, l’ANVUR ha anche predisposto un’altra scheda, la cui rilevazione partirà però dai prossimi AA. Si tratta della Scheda n.2, Studenti frequentanti, relativa all’organizzazione dei corsi dell’AA precedente (parte A) e solo, gli esami sostenuti (parte B), con tempistica di rilevazione al momento dell’iscrizione all’AA e con elemento di obbligatorietà consistente nel blocco dell’iscrizione all’AA o all’Esame di Laurea; gli studenti dell’ultimo anno di corso dovranno compilare questa scheda prima della laurea. Con questa scheda l’ANVUR/AVA intende affrontare la valutazione ex post dello studente sui corsi svolti l’anno precedente, inclusi gli aspetti relativi all’esame. Riteniamo questa scheda non del tutto soddisfacente, sia per la tempistica, che per la parte relativa all’Educational Assessment Knowledge and Skills (sostanzialmente la valutazione del docente come valutatore), riteniamo l’argomento troppo importante e complesso per affidarlo allo studente. In alternativa proponiamo altri approcci come descritto in precedenza (qualificazione dello studente come valutatore, teaching portfolio) e più avanti (punto 2.5).

2.3 Valutazione del tutor clinico

Il tutor clinico, come già anticipato, è una  figura protagonista nell’insegnamento della medicina attuale. Egli rappresenta una cerniera del sistema formativo soprattutto nell’ambito del tirocinio professionalizzante, che viene effettuato sotto la sua diretta responsabilità, nel corso del quale lo studente deve acquisire la confidenza con la professione, integrando la didattica essenzialmente rivolta a fornire informazioni teoriche e pratiche con un apprendimento basato sull’acquisizione di competenza (dal piano delle conoscenze scientifiche a quello della semeiotica fisica e strumentale, a quello della componente umanistica della professione medica).

Dalla qualità dei tutores che si susseguono a fianco dello studente nel corso della formazione dipende la qualità della formazione stessa e l’attitudine professionale del neo-medico.

La Conferenza Permanente dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia (CPPCLMMC) ha elaborato ed approvato una guida, “Codice di comportamento del Docente tutor e dello studente iscritto ai Corsi di Laurea Magistrale in Medicina e Chirurgia nello svolgimento delle attività didattiche cliniche tutoriali” (Familiari et al, Med e Chir, 55, 2012, pp 2465-2474), che è stata successivamente condivisa ed approvata anche dalla Conferenza Permanente dei Presidi delle Facoltà/Scuole di Medicina e Chirurgia.

In essa si identificano intenti, valori e doveri di docenti e studenti, insieme, nello svolgimento delle attività assistenziali condotte all’interno delle strutture assistenziali e del territorio. L’auspicio della Conferenza è che la guida diventi parte integrante del Regolamento didattico dei Corsi di Laurea Magistrale in Medicina e Chirurgia. Il Codice/guida comprende tre sezioni:

i.  Fondamenti etici (l’etica come base di azione del docente e dello studente; norme di etica “essenziale” inerenti il rapporto con il paziente);

ii. Aspetti didattici e pedagogici (competenze e responsabilità crescenti degli studenti; obblighi di frequenza);

iii. Norme di condotta dello studente.

Nonostante il forte richiamo etico centrale, il clima attuale locale (singole sedi) è ancora di incertezza/resistenza/confusione nei riguardi delle Attività Didattiche Professionalizzanti (ADP) (sia come pianificazione che realizzazione che valutazione).

Le ragioni di questo disagio sono sostanzialmente riconducibili alla mancanza di soluzioni, direttive comuni, scelte condivise relative ad alcuni aspetti critici legati alle ADP quali:

i.  Definizione operativa di obiettivi e competenze pertinenti all’attività tutoriale in ambito clinico;

ii. Individuazione di strategie di formazione dei tutor clinici (esame certificativo con abilitazione?);

iii. Natura e numerosità delle ADP teorico-pratiche (soprattutto di livello 3, essere capaci di fare, in applicazione ai Dublino 3 e 4) giudicate essenziali e irrinunciabili da tutte le sedi;

iv. Modalità utili per la scelta, apprendimento, e valutazione delle competenze metodologiche (capacità dello studente di trasformare le conoscenze in competenze mediante l’applicazione in contesti operativi, in applicazione ai Dublino 2, 3, 4).

Per superare queste criticità la Conferenza ha designato un GdL ad hoc (“Core curriculum”, coordinatore il prof. Eugenio Gaudio) che ha già prodotto alcuni risultati incoraggianti in un’ottica di costante dialettica con le singole sedi.

Tenuto conto dell’assenza di riferimenti ANVUR, sia pure in un clima di incertezza, riteniamo importante avanzare alcune proposte relative alla valutazione delle ADP e del tutor clinico ad esse dedicato:

a. definizione di un meccanismo di reclutamento dei tutor clinici (proposti da ciascun presidente del Corso Integrato e nominati dal CCdS), che preveda:

I. la predisposizione di un curriculum standard,

II. la partecipazione ad un corso di formazione,

III. la valutazione della performance del periodo precedente;

b) definizione, da parte del CCdS, degli obiettivi del tutoraggio (possibilmente corrispondenti ai Clinical Skills in corso di definizione a livello di Conferenza);

c) inserimento degli obiettivi del tutoraggio tra gli argomenti di esame del corso integrato di riferimento;

d) questionario di gradimento/valutazione del tutor clinico da parte degli studenti basato sul criterio della student satisfaction. Il questionario, predisposto nominalmente per ogni tutor clinico responsabile di ADP nel C.I., è composto da tre sezioni: la prima relativa alla tipologia delle ADP, soprattutto in riferimento alle teorico-pratiche di livello 3 (saper fare) e alle metodologiche (applicazione dei Dublino 2, 3, 4); la seconda relativa alla modalità di verifica del tirocinio svolto. Per gli item più importanti si richiede allo studente sia di fornire l’informazione (sì/no) che di esprimere un giudizio/grado di soddisfazione. In linea con il principio di trasparenza, i risultati del questionario di gradimento, inclusa la graduatoria di merito dei C.I./tutor, potranno essere resi pubblici compatibilmente con la normativa sulla privacy; la terza relativa al livello di soddisfazione riferito alla situazione ambientale (modalità di accoglienza, disponibilità degli operatori).

2.4 Incremento dell’autonomia responsabile

Il meccanismo proposto per AVA (binomio dialettico autovalutazione-valutazione, responsabilizzazione delle strutture da valutare, valutazione trasparente e consapevole da parte dei valutatori esterni) è corretto. Vi sono tuttavia delle criticità, alcune delle quali vogliamo discutere con riferimento specifico alla valutazione della didattica/docente in un’ottica di sviluppo dell’autonomia responsabile da parte delle strutture universitarie.

In primo luogo, si impone l’avvio di una riflessione costante sulla qualità della didattica e del servizio offerto, inclusa la definizione degli obiettivi sottesi alle scelte che si fanno (l’impostazione del DM 47/13 appare essere solo di tipo autorizzativo-certificativo).

In secondo luogo, si richiede l’adozione di forme di governance improntate a relazioni non gerarchiche ma reticolari di consultazione, coinvolgimento, coordinamento. A tal fine proponiamo

a)   l’istituzione di un “Comitato di Monitoraggio dell’attività didattica dei docenti” con ruolo di supporto agli organi di valutazione interna (Presidio di Qualità, Nucleo di Valutazione, Commissione Paritetica) e di raccordo ad un

b)   “Osservatorio Permanente per il Monitoraggio dell’Attività didattica dei Docenti” da istituire a livello della Conferenza.

In terzo luogo, riteniamo che la valutazione della qualità dell’insegnamento/docente debba coinvolgere tutti gli attori primari della scena didattica e che, quindi, il docente non dovrebbe essere valutato solo dagli studenti (come di fatto propone il DM 47/13) ma implicarsi esso stesso nella valutazione del proprio operato sviluppando soprattutto la pratica dell’autovalutazione o utilizzando altri criteri innovativi proposti e analizzati nei paragrafi precedenti.

2.5 Altre forme di valutazione del docente

L’efficacia del docente e la soddisfazione dello studente possono essere valutate anche considerando altre strade, quali, ad esempio,

i. incontri di gruppo tra gli studenti e i loro rappresentanti nelle istituzioni universitarie;

ii. interviste semi-strutturate fatte a studenti e colleghi del docente da valutare;

iii. rilevazione di buone pratiche didattiche che incoraggino il mantenimento e lo sviluppo della qualità della docenza e che possono portare alla consapevolezza che la valutazione del docente può essere effettuata attraverso molteplici percorsi;

iv.  valutazione tra pari con site visit di altri docenti del corso o esterni;

v.  resoconti periodici sul docente fatti dal Coordinatore di semestre/ anno con lo strumento dell’incident reporting (p.es. per problemi relativi a contenuti di un corso, modalità di esame, ecc.).

D. Gli indicatori della qualità della didattica/docente

Per quanto riguarda l’analisi dei dati provenienti dalla raccolta delle opinioni degli studenti e dei docenti ha naturalmente particolare rilievo la scelta degli indicatori della qualità che dipende dagli obiettivi specifici che si vogliono raggiungere. Possono servire per verificare il raggiungimento di standard o anche consentire la comparazione tra corsi o tra sedi. Dal punto di vista metodologico, si identificano due tipologie di indicatori potenzialmente applicabili:

1. Indicatori netti, che spiegano gli eventuali fattori che possano aver inciso sui risultati ottenuti;

2. Indicatori lordi, che sintetizzano i dati in un’unica misura.

Le valutazioni espresse direttamente dagli studenti possono essere influenzate, oltre che dal reale livello qualitativo percepito dei singoli fattori, anche da altri fattori di natura:

– macro-contestuale o «di contesto esterno» quali ad es. gli aspetti demografici, culturali, politico-istituzionali che caratterizzano l’ambiente socio – economico in cui il processo formativo universitario dell’Ateneo è inserito;

– micro-contestuale o «di contesto interno» quali ad es. gli aspetti organizzativi, gestionali, politico-istituzionali che caratterizzano l’ambiente universitario;

– individuale quali sesso, età, formazione scolastica secondaria superiore, interesse per area disciplinare ecc. che  evidenziano le peculiarità della popolazione studentesca destinataria del servizio.

Gli indicatori netti possono essere costruiti utilizzando la generica classe dei multilivello (Snijders e Bosker,1999) e consentono di ricavare risultati privi dell’influenza di specifici fattori di contesto o individuali, anche se in condizioni di sufficiente omogeneità del collettivo analizzato, è stata empiricamente verificata la similarità tra le valutazioni ottenute da indicatori lordi e netti (Rampichini et al. 2002).

Gli indicatori lordi possono essere Unidimensionali e Multidimensionali se ricavati considerando rispettivamente solo un aspetto della qualità percepita (chiarezza del docente, adeguatezza delle aule) o più aspetti contemporaneamente

E’ evidente la parzialità dell’informazione sulla qualità della didattica che gli indicatori netti possono offrire rispetto agli indicatori lordi. La costruzione di questi ultimi tuttavia è diretta conseguenza delle scelte metodologiche effettuate sui primi.

È compito del Presidio di Qualità di Ateneo scegliere le tecniche di misurazione dei dati provenienti dalla raccolta dell’opinione degli studenti e dei docenti. Fino ad oggi la maggior parte delle elaborazioni da parte dei Nuclei locali di valutazione di Ateneo si è limitata al calcolo della mediana e della moda, tra l’altro attribuendo valori numerici ai giudizi espressi dagli studenti in termini meramente descrittivi: l’individuazione puntuale di tali valori numerici da sostituire alle modalità ordinali avviene in modo sostanzialmente soggettivo o addirittura arbitrario con la conseguente divergenza nei risultati a seconda della scala di misura predeterminata.

Ciò significa che ad indicatori differenti corrispondono inevitabilmente altrettante valutazioni differenti le quali non consentono, ovviamente, la realizzazione di oggettivi confronti ad es. tra diversi Atenei. E’ necessario, dunque, che ogni Presidio di qualità di Ateneo indichi uno standard metodologico uniforme e rigidamente esplicitato.

Pertanto, è emersa fortemente l’esigenza di standardizzare metodologicamente la procedura di valutazione individuando un indicatore lordo multidimensionale della qualità della didattica che sia indipendente da preventive assunzioni teoriche e dalla soggettività di scelte individuali quale potrebbe essere ad esempio, l’indicatore di entropia. (Di Traglia 2013)

E. Conclusioni

Il documento parte dall’analisi dei termini “valutazione” e “misurazione” che discute in relazione alla qualità della didattica/docente sia per gli aspetti generali che per quelli specifici per la Scuola di Medicina.

Con riferimento al DM 47/13 ed al binomio autovalutazione/valutazione applicato alla figura del docente, si sottolinea l’importanza dell’autovalutazione come forma di responsabilizzazione del docente nei riguardi dell’istituzione. Si avanzano inoltre proposte di modifica (formulazione e tempistica) del questionario di valutazione del docente da parte degli studenti proposto dall’ANVUR-AVA perché più rispondenti alle finalità/peculiarità didattiche del Corso di Laurea Magistrale in Medicina e Chirurgia.

Come indicato nelle premesse generali, l’analisi/valutazione del prodotto richiede la definizione di obiettivi predeterminati. Per tale motivo è estremamente importante definire in modo chiaro, attraverso la utilizzazione del Core Curriculum nazionale della Conferenza, le competenze che un laureato in Medicina e Chirurgia deve possedere, definire cioè la figura del “Medico Normale Italiano” (corrispondente al medico standard della bibliografia anglosassone). Questa operazione culturale condizionerà a ritroso i contenuti/obiettivi dei singoli core curricula disciplinari  con conseguente normalizzazione delle competenze e agevolazione del trasferimento degli studenti tra le diverse sedi.

F. Proposte

A titolo ricapitolativo e per aprire la discussione riportiamo in elenco le proposte più significative contenute nel documento:

– Schede di valutazione ANVUR (autovalutazione del docente e valutazione del docente da parte degli studenti): proposte di modifica nel rispetto delle specificità del Corso di Laurea Magistrale in Medicina e Chirurgia;

– Valutazione del Tutor clinico: proposta ex novo di un questionario di gradimento/soddisfazione degli studenti;

– Indicatori di sistema: preparazione di uno strumento omogeneo per tutte le Sedi di elaborazione dei dati relativi ai risultati dei questionari di valutazione;

– Proposta di istituzione dello strumento degli Audit (eventualmente gestito dalla Conferenza);

Proposta di istituzione di un Sistema di Formazione Permanente per la Didattica (tipo ECM);

– Proposta di istituzione di un “Comitato di Monitoraggio delle attività didattiche” della Conferenza con ruolo di supporto alla triade tecnica locale dell’ANVUR (PQ, NV, CP) e di collegamento ad un “Osservatorio Permanente” da istituire a livello della Conferenza ;

– Proposta di ricongiunzione di tutti i sistemi di valutazione con il Core Curriculum (unico per tutte le Sedi e con set di standard per singola disciplina) e definizione del Medico Normale Italiano;

– Prospettiva di Istituzione dell’Abilitazione Nazionale Didattica gestita, come quella scientifica, da ANVUR.

Ringraziamento

Un particolare ringraziamento va a Maria Luisa Eboli, Tiziana Bellini e Laura Recchia per le lunghe ed appassionate sessioni che ci hanno coinvolto nella stesura del presente documento. A Massimo Casacchia, il cui lavoro di coordimento fatto prima di me ha costituito la solidissima fondazione su cui abbiamo costruito il nostro edificio. Ad Andrea Lenzi che ci ha guidato con la mano ferma ed esperta del timoniere straordinario che è.

Bibliografia

1) Bisio C. (a cura di), Valutare in formazione. Azioni, significati e valori, Angeli-AIV, Milano, 2002.

2) Di Traglia M., Recchia L., Curcio F., La valutazione della didattica: dalla raccolta delle opinioni degli studenti come espressione di gradimento ad un modello di valutazione della qualità tramite indicatori di prodotto VII Congresso Nazionale SISMEC (Società Italiana di Statistica Medica ed Epidemiologia Clinica  Sapienza – Università di Roma, 25-28 Settembre 2013.

3) Eisner, E.W., “Educational objectives: help or hindrance?” School review, vol.75, 1967.

4) Fraccaroli F., Vergani A., Valutare gli interventi formativi, Carocci-Le Bussole, Roma, 2004.

5) Lipari D. Progettazione e valutazione nei processi formativi, Edizioni Lavoro, Roma, 1995.

6) Rampichini C., Grilli L., Petrucci A.,  Statistical Methods and Applications, 13(3):357-373, 11/2004.

7) Snijders Roel J. Multilevel Analysis: An introduction to basic and advanced multilevel modeling, Sage Publishers, 1999.

8) R. Tyler “Basic Principles of Curriculum and Instruction” University of Chicago Press, 1949.

Cita questo articolo

Curcio F., Recchia L., Tonin E., et al, Criteri e parametri di valutazione della didattica ai fini della valutazione del docente, Medicina e Chirurgia, 63: 2830-2841, 2014. DOI:  10.4487/medchir2014-63-2

Distribuzione dei CFU negli SSD dei CLM in Medicina e Chirurgian.58, 2013, pp.2578-2579, DOI: 10.4487/medchir2013-58-3

Abstract

Working group was commissioned to evaluate the distribution of credits in the various branches of Medical Degree Courses. We can observe wide variations in the distribution of credits in the various scientific fields (SSD). It would be a guideline wich has the aim of rationalizing training process, taking into account the declared homogeneity of the core curricula of various SSD and then the relevance of credits.

Articolo

Il gruppo di Lavoro (GL), composto dai Proff. Rosa Valanzano, Rossana Cavallo, Rossella Fulceri, Graziella Migliorati, Italo Angelillo e Luigi Demelia, è stato incaricato dalla Conferenza dei Presidenti di CdLMMC di valutare la distribuzione dei CFU nei  SSD delle varie sedi dei Corsi di Laurea in Medicina e Chirurgia italiani. L’analisi è stata effettuata su 28 CdL che hanno inviato i dati in oggetto. Sono pervenuti al GL i dati di ulteriori 7 sedi che non è stato possibile analizzare in quanto comprensivi di CFU di didattica frontale e di attività professionalizzante e non scorporabili tra loro. Il GL sottolinea che la tabella dei CFU/SSD è una iniziale elaborazione che continuerà nel tempo, monitorando la problematica ed ampliandola fino ad un’analisi completa di tutte le sedi italiane. La tabella allegata prende in considerazione i CFU di tutti i SSD presenti nei vari CdL , il valore medio dei CFU ed i valori minimi e massimi.

Si possono osservare ampie variazioni nella distribuzione dei CFU nei vari SSD; per fare alcuni esempi osserviamo come i CFU di BIO/09 varino da un minimo di 12 CFU ad un massimo di 21, quelli di BIO/16 da 11 a 20, quelli di MED/09 da 10 a 27 , MED/18 da 10 a 24 e così si potrebbe osservare per i vari SSD. Tutti i SSD sono rappresentati nelle diverse sedi, con ovviamente maggior carico in CFU per quei SSD che storicamente possono essere considerati “portanti” per un corso di laurea in Medicina e Chirurgia, siano essi di base o caratterizzanti. Peraltro alcuni SSD sono rappresentati da un basso numero di CFU ma comunque presenti nei CdL, in particolare SSD cosidetti “specialistici”. L’autonomia didattica ed organizzativa dei CdL nei vari Atenei consente di caratterizzare le peculiarità di un corso di laurea, talora evidenziando  con l’attribuzione di CFU delle eccellenze in particolari SSD. Peraltro un’ eccessiva discrepanza tra le diverse sedi potrebbe comportare un “laureato diverso” ed una difficoltà al riconoscimento di crediti formativi in occasione di trasferimenti di studenti tra diverse sedi, cosa che potrebbe divenire attuale con l’applicazione delle nuove normative di accesso a Medicina. Sarebbe quindi auspicabile una linea guida che abbia l’obiettivo di razionalizzare il percorso formativo, tenendo conto della dichiarata omogeneità dei core curricula dei vari SSD e quindi dei CFU di pertinenza. Bisogna comunque tener presente che il numero di ore di didattica frontale ed interattiva attribuite ai CFU delle diverse sedi varia da 8 a 12 ore,  per cui questo potrebbe giustificare una certa diversità. Le ultime slides presentate si riferiscono alla distribuzione dei Corsi Integrati (CI) nei vari CdLMMC ed in particolare è stata analizzata la distribuzione di alcuni di questi nei vari anni. Alcune sedi privilegiano la distribuzione di un CI in diversi anni, altri in diversi semestri, altri ancora propongono CI maggiormente compatti, ovviamente in relazione ai CFU dei SSD. Si osserva un’ampia variabilità, in alcune sedi anticipando insegnamenti clinici già dal 3° anno di corso, in altre preferendo una spalmatura dell’insegnamento in diversi anni con forse una migliore integrazione verticale dell’insegnamento. E’ ancora uno studio preliminare che ha interessato 35 CdL e che il GL intende ulteriormente discutere ed approfondire presentando i dati in una futura Conferenza.

MEdchir_58_3

Cita questo articolo

Demelia L., Angelillo I., Casti A., et al., Distribuzione dei CFU negli SSD dei CLM in Medicina e Chirurgia, Medicina e Chirurgia, 58: 2578-2579, 2013. DOI:  10.4487/medchir2013-58-3