A. Premesse generali alla valutazione della didattica

1. Valutare e  misurare

La valutazione è “un atto (che implica nei casi di maggiore complessità, raccolta di informazioni, analisi e riflessione) tendente alla formulazione di giudizi di valore su un oggetto, su una situazione o su un evento” (Lipari 1995). Questo implica che vi siano dei criteri socialmente e culturalmente condivisi e che il soggetto valutante sia in possesso di un’autorità e di una legittimazione tale da essere riconosciuta da parte del valutato.

“La valutazione deve poter avere conseguenze nella realtà. Non è quindi solo produzione di un giudizio, ma produzione di un giudizio che consenta di fare” (Bisio 2002).

La valutazione è “un evento politico, essa non ha carattere neutro ed è esposta, a sua volta, a condizionamenti da parte dei committenti o delle parti interessate. Per tali peculiarità, gli esiti della valutazione, oltre a costituire un’informazione utile per impostare, correggere, migliorare programmi sociali, possono anche essere costruiti e utilizzati allo scopo di legittimare le iniziative assunte e i programmi già avviati” (Fraccaroli, Vergani 2004).

Riguardo gli oggetti della valutazione è possibile distinguerli in due diverse categorie, che danno luogo alla “valutazione di prodotto” e alla “valutazione di processo”. La prima si basa sulla verifica della rispondenza tra obiettivi e risultati (Tyler 1949), è nata dall’esigenza di abolire azioni basate sulla casualità, l’improvvisazione, l’ambiguità. Per poter valutare è necessario definire prima obiettivi descritti come comportamenti attesi e necessita quindi di una standardizzazione. La seconda si basa sull’accertamento del valore sociale ed educativo di un’azione formativa (Eisner 1967) ed in campo educativo è nata dall’esigenza di far luce sul processo di apprendimento per migliorare l’offerta formativa.

Per ottenere un risultato soddisfacente sono necessarie entrambe: la valutazione di prodotto consente di verificare se il risultato finale corrisponde a quanto stabilito e per questo necessita di una definizione esatta di quanto bisogna produrre ma “poiché un risultato è sempre la conseguenza di un processo d’azione, senza l’analisi del processo, la comprensione dei risultati risulta fortemente problematica e comunque parziale” (Lipari 1995). La valutazione di processo si occupa di tutti gli aspetti che lo caratterizzano dall’inizio alla fine.

Permette di riflettere su tutto il percorso formativo cogliendo anche quegli aspetti che una valutazione di prodotto non permetterebbe di osservare ma senza la valutazione del prodotto può dar luogo a risultati aberranti.

Da queste considerazioni emerge la necessità di sviluppare per ambiti molto complessi, quali ad esempio quello formativo, modelli di valutazione integrata sia di prodotto che di processo. Attraverso questo passaggio potrà realizzarsi nel tempo l’adeguamento del nostro sistema universitario a modelli consolidati e condivisi a livello internazionale, in particolare in accordo con quanto stabilito dall’European Association for Quality Assurance in Higher Education, ENQA, nel documento Standards and Guidelines for Quality Assurance in Higher Education, ESG.

L’introduzione di un sistema di valutazione, soprattutto in ambito formativo, deve essere in linea con i seguenti principi:

i.  valorizzazione del merito;

ii. garanzia di pari opportunità di diritti …ma anche di doveri;

iii. trasparenza dei risultati conseguiti;

iv. tempestività di diagnosi ed efficacia di intervento correttivo attraverso strutture accreditate per l’incident reporting per la segnalazione di “non conformità” (malfunzionamenti, disguidi, inosservanze delle norme, inceppamenti organizzativi, etc.);

v. definizione degli strumenti per gli interventi correttivi.

La misurazione intende quantificare, attribuire un punteggio secondo certi parametri. Ha l’obiettivo di consentire una stima, sulla base di un sistema di riferimento condiviso, delle informazioni sulle quali si intende operare o che debbono essere considerate ai fini di formulare un giudizio. Nella misurazione, attribuiamo dei valori numerici a oggetti o ad eventi secondo regole che permettono di rappresentare caratteri degli oggetti o eventi in questione con proprietà del sistema numerico. Per questioni sperimentali e teoriche (ad esempio il principio di indeterminazione di Heisenberg) ciò che intendiamo misurare non è, in realtà, descrivibile da un solo valore numerico, anche ipotizzando una precisione di misurazione infinita. Ciascuna misura è quindi una stima del valore vero. Per ragioni pratiche occorre quindi definire un intervallo entro cui la misura viene considerata accettabile. Quando intendiamo misurare parametri riferibili ad un prodotto o ad un processo è quindi essenziale definire gli standard di riferimento.

La valutazione tiene conto di attributi concreti, prevalentemente unidimensionali, risultati della misurazione ma non solo di essi in quanto è espressione anche di valori aggiuntivi non direttamente misurabili consistenti per esempio in benefici emotivi che riguardano attributi astratti, prevalentemente multidimensionali, non oggettivamente misurabili.

Nel mondo della Scuola-Università i termini misurazione e valutazione sono due funzioni spesso (con)fuse insieme.

2. La valutazione nella attuale realtà universitaria italiana

Nella attuale realtà universitaria (non solo italiana) l’attenzione riservata ai temi valutativi sembra essere prevalentemente il risultato di scelte politiche provenienti dall’esterno (SISTEMA ANVUR/AVA), come esito di una pressione esogena più che un bisogno emergente all’interno dell’organizzazione

Sicuramente nel corpo docente non esiste una diffusa cultura della valutazione ma non c’è ostilità preconcetta verso l’azione valutativa in sé, quanto piuttosto un sostanziale rifiuto verso una valutazione che si esprime unicamente in giudizi di adeguatezza o inadeguatezza.

E’ questo un effetto negativo, prodotto da forme di valutazione oggettiva dirette a fare classifiche e a stabilire la quota di risorse che vanno alle università in conseguenza di questa valutazione e che molto difficilmente riescono a favorire e sostenere processi di messa a punto e di superamento delle carenze rilevate (vedi a proposito  la “Raccomandazione sul DM 47/13” espressa dal CUN nell’adunanza del 27/3/13).

Il rischio di rifiuto diventa molto rilevante se gli indicatori scelti generano risultati aberranti e se il processo di valutazione è percepito come incompleto o parziale.

B. Valutazione della didattica-Valutazione del docente

1. Qualità della didattica: una scelta politica

In una prospettiva di facoltà o scuola di qualità l’attenzione alla qualità della docenza sembra essere un nodo essenziale, poiché si stima che in assenza di insegnanti competenti ed efficaci vengono a mancare le premesse fondamentali per la qualità della didattica e dell’offerta formativa.

Alla qualità del docente si accompagna la qualità dell’organizzazione della didattica (modalità della didattica, adeguatezza delle risorse umane o di struttura, ecc.), proveniente dalle determinazioni che riguardano il livello politico, amministrativo, organizzativo e gestionale su cui però la scuola o facoltà non sempre ha il potere di condizionare le scelte da adottare.

Le attuali pratiche valutative della didattica universitaria sono fondate principalmente sul rapporto fra docente e studente, dove chi apprende esprime un valore rispetto al processo di insegnamento avvalendosi di questionari/interviste come strumenti privilegiati di giudizio. Tali questionari sono costruiti soprattutto sulla filosofia della customer satisfaction, tendente a valorizzare l’assunzione di responsabilità delle organizzazioni formative e il potere del consumatore.

La student satisfaction, nonostante le tipiche aree di criticità da più parti rilevate, se opportunamente contestualizzata e delineata in relazione al valore formativo della valutazione, può motivare processi di revisione della pratica di insegnamento attuata dal docente, ma se considerata come fonte esclusiva (o quasi esclusiva) di informazione sullo stato della didattica rischia di ridurre gli spazi di intervento per il miglioramento della qualità. Sono quindi auspicabili nella valutazione della didattica/docente analisi a più livelli, pluralità di metodi e strumenti da adottare, pluralità di contesti da esaminare non solo basati su tale contesto.

2. Valutazione del docente: aspetti critici

La disponibilità del docente ad essere valutato e a rendere conto del proprio operato con misure oggettive (teacher accountability) è il prerequisito per affermare una pratica valutativa. L’esercizio della valutazione è, per il nostro sistema Universitario, certamente un inevitabile cambiamento epocale. A lungo infatti si è sottratto a tale necessità ed ancora oggi la sua applicazione è molto disomogenea. Accanto ad una diffusa mancanza di standardizzazione dei parametri di giudizio e condivisione di comportamenti c’è un aspetto molto rilevante che fino ad ora non è stato affrontato: la motivazione a farsi valutare. È infatti innegabile che, fino a quando la didattica rimarrà un’attività senza peso nella carriera del docente universitario, sarà molto difficile implementarne la valutazione. La valorizzazione delle attività svolte dal docente in termini di qualificazione e mantenimento della competenza didattica, anche se apparentemente un’ovvia conseguenza dell’operare nell’Università, è poco riconosciuta. Attualmente infatti la carriera del docente viene influenzata dalla ricerca (abilitazione nazionale e valorizzazione dei prodotti della ricerca) ma non dalla didattica. Quello speso nell’acquisizione di specifiche competenze, il mantenimento delle stesse, l’eccellenza (o il deficit), la coerenza con il mandato formativo assegnato nei Corsi di Laurea o nelle Specializzazioni viene quasi considerato tempo sottratto alla possibilità di fare ricerca (o assistenza).

Le principali criticità della pratica valutativa nell’attuale modello sono:

i.  La mancanza della definizione esatta ed inequivocabile degli obiettivi sul raggiungimento dei quali effettuare una verifica. In un buon sistema di qualità è infatti essenziale definire gli standard sia di prodotto che di processo che si intende raggiungere;

ii.  La mancanza di una formazione degli studenti come valutatori per esprimere un giudizio basato su regole e comportamenti condivisi;

iii. L’assenza della definizione di criteri oggettivi per cui si abbia da parte degli studenti la percezione che i loro sforzi nella valutazione diano risultati in termini di miglioramento della didattica poiché la qualità della partecipazione e della motivazione degli studenti è una premessa iniziale per il successo delle valutazioni degli insegnamenti/docenti;

iv. La scarsa flessibilità del modello di valutazione adottato (es., questionario) da sottoporre agli studenti in momenti differenti del corso tale per cui si riesca a cogliere l’aspetto evolutivo della percezione degli studenti riguardo al corso stesso con la possibilità di confrontarla con quella dei docenti;

v. La mancanza della valorizzazione della competenza didattica;

vi. La assenza di strumenti per identificare le situazioni aberranti ed intervenire per correggerle.

C. Valutazione del docente nella Scuola di Medicina

1. Le caratteristiche distintive dell’ordinamento degli studi medici

Esistono alcune caratteristiche peculiari e distintive dell’ordinamento degli studi medici che è bene sottolineare per giustificare la necessità di strumenti di valutazione specifici in questo contesto:

i.  Il Corso integrato: la specializzazione – e la parcellizzazione – del sapere medico hanno reso necessario il ricorso sistematico al corso integrato (CI) nella programmazione curricolare. Il significato ed il grado di integrazione dei CI variano notevolmente nella realtà, passando da CI mono-disciplinari con integrazione limitata ad una collaborazione di docenti della stessa disciplina, a CI multi-disciplinari nei quali si alternano docenti di settori scientifico-disciplinari differenti, a CI inter-disciplinari nei quali si realizza una reale integrazione con l’organizzazione di unità didattiche complesse e di copresenze. Pertanto nella valutazione del docente occorre tenere distinti due aspetti, uno relativo al CI (come riuscita complessiva), l’altro relativo ai singoli docenti che compongono il CI (caratteristiche di insegnamento/docenza).

ii. L’attività professionalizzante ed il tutor clinico: negli attuali schemi didattici largo spazio viene dato al tirocinio professionalizzante. Il tutor clinico non solo deve avere le competenze specifiche per l’ambito didattico per il quale è richiesto il suo contributo (così come il docente che svolge l’attività didattica formale) ma deve soprattutto operare in modo da permettere allo studente di elaborare un proprio profilo operativo (imparare “a fare”). Pertanto nella valutazione del docente nella Scuola di Medicina occorre tenere distinte le due figure: il professore e il tutor clinico (che possono anche essere la stessa persona a seconda della numerosità del personale ma con funzioni distinte)

iii. La Frequenza: a Medicina esiste l’obbligo certificato di frequenza per tutti gli studenti sia che si tratti di attività di didattica formale che di attività di tirocinio professionalizzante.

2. Gli ambiti di valutazione

Come discusso nell’introduzione, ambiti complessi, come appunto quello formativo, richiedono approcci valutativi multidimensionali, con analisi a più livelli, pluralità di metodi e strumenti da adottare, pluralità di contesti da esaminare (nel nostro caso non solo confinati all’attività didattica propriamente detta). Lavorando su questa base, il Gruppo di lavoro ha identificato quattro ambiti di valutazione del docente nella Scuola di Medicina:

1) Autovalutazione;

2) Valutazione del docente da parte degli studenti;

3) Valutazione del Tutor clinico da parte degli studenti;

4) Altre forme di valutazione del docente.

I quattro ambiti sono discussi in un’ottica di un percorso valutativo integrato e, laddove esistenti, le nostre proposte sono messe a confronto con le procedure ANVUR/AVA attualmente in vigore.

2.1 Autovalutazione

La scheda predisposta dall’ANVUR (Scheda n. 7, da compilarsi a cura del docente per ogni insegnamento) è divisa in due parti:

i. aspetti organizzativo-strutturali (carico di studio accettabile, orario lezioni, aule e servizi di supporto, etc., 6 items) e

ii. aspetti didattici (conoscenze preliminari, coordinamento, modalità esame, soddisfazione complessiva del docente, 4 items).

Le domande sono molto generali e prevedono come risposta un giudizio/opinione espressa dal docente con una scala valutativa a quattro gradi (da decisamente no a decisamente sì).

Il docente ha l’obbligo di compilare la scheda dopo lo svolgimento dei 2/3 delle lezioni e di consegnarla agli uffici competenti insieme al Registro delle attività didattiche al termine dell’anno accademico (31 ottobre anche se dovrebbe essere 30 settembre viste le semestralizzazioni).

Il GdL ritiene che la scheda così come predisposta dall’ANVUR/AVA, più che un’autovalutazione ex post del docente in merito alla qualità della realizzazione del corso, appare essere un dispositivo formale finalizzato ad adempimenti burocratici e come tale non sufficiente a garantire il raggiungimento dei due obiettivi fondamentali sottesi all’autovalutazione:

i. A livello personale: sviluppare nel docente un atteggiamento critico verso il proprio operato (practical reflections, educational criticism);

ii. A livello istituzionale: promuovere una responsabilizzazione del docente (teacher accountability) coinvolgendolo come parte integrante del processo di miglioramento dell’istituzione universitaria.

Proposte del GdL

Vista l’importanza del processo e l’assenza di una cultura e di una pratica diffusa di autovalutazione nelle Scuole di Medicina italiane, si propone un modello di autovalutazione più articolato composto dal questionario per l’autovalutazione del docente ed il teaching portfolio.

a) Questionario per l’autovalutazione del docente.

Si propone un questionario (Hoyt e Pallett 1999, modificato) composto da due sezioni. La prima sezione si riferisce al C.I. e contiene domande riguardanti:

1) il contesto in cui è collocato il CI (sia rispetto alle caratteristiche degli studenti, sia rispetto ad altri CI del curriculum;

2) gli obiettivi del CI;

3) le strategie didattiche impiegate;

4) i materiali didattici utilizzati;

5) le modalità di valutazione del profitto degli studenti adottate.

La seconda sezione si riferisce al singolo docente e contiene domande su:

1) le attività svolte in aula;

2) il coordinamento didattico con gli altri colleghi del CI.

L’obiettivo del questionario per l’autovalutzione è quello di spingere il docente a farsi le seguenti domande: 1 – è corretto il contesto in cui è collocato il corso integrato? 2 – sono chiari gli obiettivi del corso integrato? 3 – sono state discusse le strategie didattiche? 4 – i materiali didattici sono soddisfacenti e facilmente reperibili? 5- le modalità di valutazione del profitto sono state discusse dai docenti del corso integrato? 6 – è stato soddisfacente il coordinamento didattico? 7 – sono stati tenuti presenti nell’ambito del CI e nei singoli moduli i descrittori di Dublino? 8 – i cfu assegnati sono insufficienti o meno? 9 – il numero di ore di lezione e la loro organizzazione sono soddisfacenti? 10 – le attrezzature per le attività in aula sono adeguate?

Come tempistica di rilevazione, il questionario va compilato annualmente dal docente a chiusura del ciclo di lezioni e consegnato agli Organi di Valutazione interna per gli adempimenti del caso.

b) Teaching portfolio.

Una delle procedure indicate come la più adeguata a sensibilizzare il docente all’autovalutazione è quella della produzione del teaching portfolio.

Il teaching portfolio (da non confondere con il Registro delle attività didattiche) rappresenta una raccolta di dati, attestati, materiali vari, documentazione ufficiale, sulle attività del docente. La raccolta delle informazioni contenute nel portfolio non deve essere necessariamente esaustiva di tutte le attività compiute dal docente, ma presentare una selezione di quelle attività che egli considera didatticamente efficaci e qualitativamente importanti.

Dall’analisi della letteratura emerge che la costruzione del portfolio può avere una valenza sia soggettiva e servire al docente come stimolo all’autoriflessione, che istituzionale e servire al docente come un prodotto da utilizzare per integrare la documentazione della sua attività in vista della sua progressione di carriera.

Il portfolio potrebbe inoltre costituire, insieme ai risultati dei questionari di valutazione (sia autovalutazione del docente che valutazione del docente da parte degli studenti), uno strumento utile per misurare la qualità dei docenti e formulare una graduatoria di merito interna con effetti premiali per i più bravi (riconoscimenti di prestigio o economici o di carriera).

Gli elementi particolarmente significativi per la costruzione del teaching portfolio (trasformabili in indicatori a fini valutativi) possono essere:

i.  Tesi (numero e qualità) seguite dal docente come relatore;

ii. Risultati del progress test relativi all’area di riferimento del docente mediante l’analisi critica effettuata insieme agli altri colleghi del CI;

iii. Risultati degli esami  (rispondenza dei risultati rispetto agli obiettivi del CI, livelli di performance da parte degli studenti, analisi dell’andamento/risultanze, al di là del semplice score);

iv. Percentuale di presenze del docente ai consessi degli organi di governo (Consigli Struttura di Raccordo, Facoltà, Scuola, etc.);

v.  Partecipazione del docente a Commissioni relative all’organizzazione, programmazione, valutazione dell’attività didattica (es. Commissione Tecnica di Programmazione didattico-pedagogica, Commissione Paritetica etc.);

vi. Valutazione dei giudizi riportati dagli studenti (analisi critica e soluzioni formulate insieme agli altri colleghi del CI in caso di esiti negativi);

vii. Adesione ai descrittori di Dublino;

viii. Partecipazione del docente ad attività di formazione pedagogica finalizzate a migliorare le sue competenze in termini di progettazione, erogazione, valutazione del percorso di apprendimento. Con riferimento a quest’ultimo punto, potrebbe essere utile introdurre un sistema di accreditamento sul modello degli ECM (S.I.Pe.M., Atelier didattici della Conferenza, etc.).

La costruzione del teaching portfolio, come pratica autovalutativa, è a nostro avviso molto importante non solo su un piano concettuale innovativo ma anche tecnico di valutazione perché soddisfa il criterio dell’approccio valutativo multidimensionale includendo misure/valutazioni sia di processo (come il docente ha agito) che di risultato, quest’ultimo a sua volta inteso sia come output (quanto il docente ha prodotto) che come outcome (quale effetto ha avuto l’attività del docente rispetto agli obiettivi prefissati).

2.2 Valutazione del docente da parte degli studenti

Nella Scuola di Medicina italiana la valutazione dell’insegnamento/docente da parte degli studenti è pratica ormai accreditata, ben prima dell’introduzione del sistema ANVUR/AVA, anche se si registrano vistose difformità nei modelli sviluppati/criteri di applicazione adottati nelle differenti sedi.

I nodi ancora da sciogliere riguardano non tanto e non solo gli strumenti da adottare (di cui discuteremo più avanti) quanto piuttosto l’applicazione dei principi su cui si basa un sistema di valutazione efficace, applicazione ancora inesistente nella quasi totalità delle sedi.

Occorre pertanto considerare i seguenti aspetti:

i. sensibilizzazione dello studente alla valutazione (chi insegna agli studenti a valutare per garantire da parte loro un giudizio oggettivo ed omogeneo e come). Allo scopo potrebbero essere utilizzati brevi corsi sommministrati anche on-line;

ii. definizione di criteri oggettivi condivisi che trasmettano agli studenti la percezione che i loro sforzi nella valutazione diano risultati in termini di miglioramento della didattica;

iii. avvio di procedure validate per l’incident reporting, incluse sanzioni e correttivi da applicare in caso di inadempienze o omissioni.

Passando agli strumenti e prima di discuterne, è bene ricordare gli obiettivi sottesi alla valutazione del docente da parte dello studente che sono: espliciti di tipo culturale (la proposta di contenuti disciplinari da parte dei docenti, perché essi vengano appresi dagli studenti) e formativi (lo sviluppo personale e professionale dello studente). L’altro aspetto da ricordare riguarda l’attenzione all’efficacia versus eccellenza del docente. L’efficacia, ovvero il rendere sempre più efficaci i processi di insegnamento considerando prioritariamente la crescita culturale e professionale degli studenti, è un concetto che domina lo scenario internazionale da più di un decennio, collegato alla qualità della didattica complessiva dei corsi di laurea ed alle connessioni di questa con gli standard per valutarla e le eventuali procedure di accreditamento. La valutazione dell’efficacia si traduce sostanzialmente in termini di valutazione dell’apprendimento e della soddisfazione degli studenti. L’eccellenza ovvero l’esplorazione e adozione da parte del docente di nuovi approcci all’insegnamento e all’apprendimento, è un concetto più sofisticato e meno praticato, che richiede forme valutative più complesse (come dossier, peer- e self-evaluation) all’interno di una valutazione istituzionale.

La scheda predisposta dall’ANVUR per la valutazione del docente da parte dello studente (Scheda n. 1) è divisa in tre parti:

i.  aspetti di insegnamento (conoscenze preliminari, carico di studio/CR, materiale didattico adeguato, definizione delle modalità d’esame, 4 items);

ii.  aspetti di docenza (orari e puntualità del docente, qualità di insegnamento, attività didattiche integrative, etc, 6 items);

iii. interesse dello studente agli argomenti trattati (1 item); a queste tre parti si aggiunge una sezione di  “Suggerimenti al docente” (9 items già prefissati tra i quali optare, es., alleggerire il carico didattico complessivo, inserire prove d’esame intermedie, etc.).

Per le prime tre parti si richiede allo studente di esprimere un giudizio (quattro gradi di giudizio/ item, da decisamente no a decisamente sì).

Commentando la scheda predisposta dall’ANVUR e relativamente alla obbligatorietà e tempistica di rilevazione, vogliamo far notare che

i. l’obbligatorietà di compilazione deve essere per noi, più che un adempimento burocratico, un valore a cui educare lo studente di medicina;

ii. la tempistica di rilevazione al momento dell’iscrizione all’esame, qualora quest’ultimo si svolga a distanza di molti mesi dal corso, rende le risposte poco attendibili.

Suggeriamo come strumento migliore quello di un questionario di gradimento/soddisfazione da sottoporre a tutti gli studenti a lezione, possibilmente alla fine del CI, piuttosto che all’atto dell’iscrizione all’esame per evitare che passi troppo tempo tra attività e raccolta dei dati.

Relativamente alla formulazione della scheda, sulla base di quanto discusso sopra e dell’esperienza maturata in alcune sedi, proponiamo un modello più articolato rispetto a quello dell’ANVUR/AVA, composto da due sezioni:

– una prima di soddisfazione complessiva – aspetti di contesto, riferita al CI (6-8 item, soddisfazione, interesse agli argomenti, utilità o meno di ripetizioni e sovrapposizioni rispetto ad altri CI, etc.)

– una seconda riferita al “docente”, predisposta nominalmente per tutti docenti del CI, composta da due parti:

i.  aspetti organizzativi (pochi item, es., puntualità del docente all’inizio delle lezioni,  modalità di svolgimento dell’esame,etc.) e

ii. aspetti di docenza propriamente detta (5-6 item), questi ultimi relativi sia alla capacità del docente di attivazione cognitiva (es chiarezza espositiva, trattazione esauriente) che alla capacità del docente di supporto al learning (es., se il docente risponde a domande, se fa domande e lascia tempo per le risposte, se i contenuti di apprendimento sono appropriati rispetto ai prerequisiti richiesti, anche utilizzando gli obiettivi dei singoli core curricula così come raccolti dalla Conferenza).

A queste due sezioni se ne aggiunge una riferita al C.I., che comprende due domande, una sul carico di lavoro complessivo rispetto ai crediti formativi assegnati al CI ed un’altra sulla effettiva integrazione tra i docenti .

Un totale di circa 20 domande che riguardano sia il CI che i singoli docenti. A queste tre sezioni si può aggiungere una quarta di “Suggerimenti” identica a quella proposta dall’ANVUR (Scheda n. 1, vedi sopra).

Nota. Con riferimento alla valutazione del docente da parte degli studenti, l’ANVUR ha anche predisposto un’altra scheda, la cui rilevazione partirà però dai prossimi AA. Si tratta della Scheda n.2, Studenti frequentanti, relativa all’organizzazione dei corsi dell’AA precedente (parte A) e solo, gli esami sostenuti (parte B), con tempistica di rilevazione al momento dell’iscrizione all’AA e con elemento di obbligatorietà consistente nel blocco dell’iscrizione all’AA o all’Esame di Laurea; gli studenti dell’ultimo anno di corso dovranno compilare questa scheda prima della laurea. Con questa scheda l’ANVUR/AVA intende affrontare la valutazione ex post dello studente sui corsi svolti l’anno precedente, inclusi gli aspetti relativi all’esame. Riteniamo questa scheda non del tutto soddisfacente, sia per la tempistica, che per la parte relativa all’Educational Assessment Knowledge and Skills (sostanzialmente la valutazione del docente come valutatore), riteniamo l’argomento troppo importante e complesso per affidarlo allo studente. In alternativa proponiamo altri approcci come descritto in precedenza (qualificazione dello studente come valutatore, teaching portfolio) e più avanti (punto 2.5).

2.3 Valutazione del tutor clinico

Il tutor clinico, come già anticipato, è una  figura protagonista nell’insegnamento della medicina attuale. Egli rappresenta una cerniera del sistema formativo soprattutto nell’ambito del tirocinio professionalizzante, che viene effettuato sotto la sua diretta responsabilità, nel corso del quale lo studente deve acquisire la confidenza con la professione, integrando la didattica essenzialmente rivolta a fornire informazioni teoriche e pratiche con un apprendimento basato sull’acquisizione di competenza (dal piano delle conoscenze scientifiche a quello della semeiotica fisica e strumentale, a quello della componente umanistica della professione medica).

Dalla qualità dei tutores che si susseguono a fianco dello studente nel corso della formazione dipende la qualità della formazione stessa e l’attitudine professionale del neo-medico.

La Conferenza Permanente dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia (CPPCLMMC) ha elaborato ed approvato una guida, “Codice di comportamento del Docente tutor e dello studente iscritto ai Corsi di Laurea Magistrale in Medicina e Chirurgia nello svolgimento delle attività didattiche cliniche tutoriali” (Familiari et al, Med e Chir, 55, 2012, pp 2465-2474), che è stata successivamente condivisa ed approvata anche dalla Conferenza Permanente dei Presidi delle Facoltà/Scuole di Medicina e Chirurgia.

In essa si identificano intenti, valori e doveri di docenti e studenti, insieme, nello svolgimento delle attività assistenziali condotte all’interno delle strutture assistenziali e del territorio. L’auspicio della Conferenza è che la guida diventi parte integrante del Regolamento didattico dei Corsi di Laurea Magistrale in Medicina e Chirurgia. Il Codice/guida comprende tre sezioni:

i.  Fondamenti etici (l’etica come base di azione del docente e dello studente; norme di etica “essenziale” inerenti il rapporto con il paziente);

ii. Aspetti didattici e pedagogici (competenze e responsabilità crescenti degli studenti; obblighi di frequenza);

iii. Norme di condotta dello studente.

Nonostante il forte richiamo etico centrale, il clima attuale locale (singole sedi) è ancora di incertezza/resistenza/confusione nei riguardi delle Attività Didattiche Professionalizzanti (ADP) (sia come pianificazione che realizzazione che valutazione).

Le ragioni di questo disagio sono sostanzialmente riconducibili alla mancanza di soluzioni, direttive comuni, scelte condivise relative ad alcuni aspetti critici legati alle ADP quali:

i.  Definizione operativa di obiettivi e competenze pertinenti all’attività tutoriale in ambito clinico;

ii. Individuazione di strategie di formazione dei tutor clinici (esame certificativo con abilitazione?);

iii. Natura e numerosità delle ADP teorico-pratiche (soprattutto di livello 3, essere capaci di fare, in applicazione ai Dublino 3 e 4) giudicate essenziali e irrinunciabili da tutte le sedi;

iv. Modalità utili per la scelta, apprendimento, e valutazione delle competenze metodologiche (capacità dello studente di trasformare le conoscenze in competenze mediante l’applicazione in contesti operativi, in applicazione ai Dublino 2, 3, 4).

Per superare queste criticità la Conferenza ha designato un GdL ad hoc (“Core curriculum”, coordinatore il prof. Eugenio Gaudio) che ha già prodotto alcuni risultati incoraggianti in un’ottica di costante dialettica con le singole sedi.

Tenuto conto dell’assenza di riferimenti ANVUR, sia pure in un clima di incertezza, riteniamo importante avanzare alcune proposte relative alla valutazione delle ADP e del tutor clinico ad esse dedicato:

a. definizione di un meccanismo di reclutamento dei tutor clinici (proposti da ciascun presidente del Corso Integrato e nominati dal CCdS), che preveda:

I. la predisposizione di un curriculum standard,

II. la partecipazione ad un corso di formazione,

III. la valutazione della performance del periodo precedente;

b) definizione, da parte del CCdS, degli obiettivi del tutoraggio (possibilmente corrispondenti ai Clinical Skills in corso di definizione a livello di Conferenza);

c) inserimento degli obiettivi del tutoraggio tra gli argomenti di esame del corso integrato di riferimento;

d) questionario di gradimento/valutazione del tutor clinico da parte degli studenti basato sul criterio della student satisfaction. Il questionario, predisposto nominalmente per ogni tutor clinico responsabile di ADP nel C.I., è composto da tre sezioni: la prima relativa alla tipologia delle ADP, soprattutto in riferimento alle teorico-pratiche di livello 3 (saper fare) e alle metodologiche (applicazione dei Dublino 2, 3, 4); la seconda relativa alla modalità di verifica del tirocinio svolto. Per gli item più importanti si richiede allo studente sia di fornire l’informazione (sì/no) che di esprimere un giudizio/grado di soddisfazione. In linea con il principio di trasparenza, i risultati del questionario di gradimento, inclusa la graduatoria di merito dei C.I./tutor, potranno essere resi pubblici compatibilmente con la normativa sulla privacy; la terza relativa al livello di soddisfazione riferito alla situazione ambientale (modalità di accoglienza, disponibilità degli operatori).

2.4 Incremento dell’autonomia responsabile

Il meccanismo proposto per AVA (binomio dialettico autovalutazione-valutazione, responsabilizzazione delle strutture da valutare, valutazione trasparente e consapevole da parte dei valutatori esterni) è corretto. Vi sono tuttavia delle criticità, alcune delle quali vogliamo discutere con riferimento specifico alla valutazione della didattica/docente in un’ottica di sviluppo dell’autonomia responsabile da parte delle strutture universitarie.

In primo luogo, si impone l’avvio di una riflessione costante sulla qualità della didattica e del servizio offerto, inclusa la definizione degli obiettivi sottesi alle scelte che si fanno (l’impostazione del DM 47/13 appare essere solo di tipo autorizzativo-certificativo).

In secondo luogo, si richiede l’adozione di forme di governance improntate a relazioni non gerarchiche ma reticolari di consultazione, coinvolgimento, coordinamento. A tal fine proponiamo

a)   l’istituzione di un “Comitato di Monitoraggio dell’attività didattica dei docenti” con ruolo di supporto agli organi di valutazione interna (Presidio di Qualità, Nucleo di Valutazione, Commissione Paritetica) e di raccordo ad un

b)   “Osservatorio Permanente per il Monitoraggio dell’Attività didattica dei Docenti” da istituire a livello della Conferenza.

In terzo luogo, riteniamo che la valutazione della qualità dell’insegnamento/docente debba coinvolgere tutti gli attori primari della scena didattica e che, quindi, il docente non dovrebbe essere valutato solo dagli studenti (come di fatto propone il DM 47/13) ma implicarsi esso stesso nella valutazione del proprio operato sviluppando soprattutto la pratica dell’autovalutazione o utilizzando altri criteri innovativi proposti e analizzati nei paragrafi precedenti.

2.5 Altre forme di valutazione del docente

L’efficacia del docente e la soddisfazione dello studente possono essere valutate anche considerando altre strade, quali, ad esempio,

i. incontri di gruppo tra gli studenti e i loro rappresentanti nelle istituzioni universitarie;

ii. interviste semi-strutturate fatte a studenti e colleghi del docente da valutare;

iii. rilevazione di buone pratiche didattiche che incoraggino il mantenimento e lo sviluppo della qualità della docenza e che possono portare alla consapevolezza che la valutazione del docente può essere effettuata attraverso molteplici percorsi;

iv.  valutazione tra pari con site visit di altri docenti del corso o esterni;

v.  resoconti periodici sul docente fatti dal Coordinatore di semestre/ anno con lo strumento dell’incident reporting (p.es. per problemi relativi a contenuti di un corso, modalità di esame, ecc.).

D. Gli indicatori della qualità della didattica/docente

Per quanto riguarda l’analisi dei dati provenienti dalla raccolta delle opinioni degli studenti e dei docenti ha naturalmente particolare rilievo la scelta degli indicatori della qualità che dipende dagli obiettivi specifici che si vogliono raggiungere. Possono servire per verificare il raggiungimento di standard o anche consentire la comparazione tra corsi o tra sedi. Dal punto di vista metodologico, si identificano due tipologie di indicatori potenzialmente applicabili:

1. Indicatori netti, che spiegano gli eventuali fattori che possano aver inciso sui risultati ottenuti;

2. Indicatori lordi, che sintetizzano i dati in un’unica misura.

Le valutazioni espresse direttamente dagli studenti possono essere influenzate, oltre che dal reale livello qualitativo percepito dei singoli fattori, anche da altri fattori di natura:

– macro-contestuale o «di contesto esterno» quali ad es. gli aspetti demografici, culturali, politico-istituzionali che caratterizzano l’ambiente socio – economico in cui il processo formativo universitario dell’Ateneo è inserito;

– micro-contestuale o «di contesto interno» quali ad es. gli aspetti organizzativi, gestionali, politico-istituzionali che caratterizzano l’ambiente universitario;

– individuale quali sesso, età, formazione scolastica secondaria superiore, interesse per area disciplinare ecc. che  evidenziano le peculiarità della popolazione studentesca destinataria del servizio.

Gli indicatori netti possono essere costruiti utilizzando la generica classe dei multilivello (Snijders e Bosker,1999) e consentono di ricavare risultati privi dell’influenza di specifici fattori di contesto o individuali, anche se in condizioni di sufficiente omogeneità del collettivo analizzato, è stata empiricamente verificata la similarità tra le valutazioni ottenute da indicatori lordi e netti (Rampichini et al. 2002).

Gli indicatori lordi possono essere Unidimensionali e Multidimensionali se ricavati considerando rispettivamente solo un aspetto della qualità percepita (chiarezza del docente, adeguatezza delle aule) o più aspetti contemporaneamente

E’ evidente la parzialità dell’informazione sulla qualità della didattica che gli indicatori netti possono offrire rispetto agli indicatori lordi. La costruzione di questi ultimi tuttavia è diretta conseguenza delle scelte metodologiche effettuate sui primi.

È compito del Presidio di Qualità di Ateneo scegliere le tecniche di misurazione dei dati provenienti dalla raccolta dell’opinione degli studenti e dei docenti. Fino ad oggi la maggior parte delle elaborazioni da parte dei Nuclei locali di valutazione di Ateneo si è limitata al calcolo della mediana e della moda, tra l’altro attribuendo valori numerici ai giudizi espressi dagli studenti in termini meramente descrittivi: l’individuazione puntuale di tali valori numerici da sostituire alle modalità ordinali avviene in modo sostanzialmente soggettivo o addirittura arbitrario con la conseguente divergenza nei risultati a seconda della scala di misura predeterminata.

Ciò significa che ad indicatori differenti corrispondono inevitabilmente altrettante valutazioni differenti le quali non consentono, ovviamente, la realizzazione di oggettivi confronti ad es. tra diversi Atenei. E’ necessario, dunque, che ogni Presidio di qualità di Ateneo indichi uno standard metodologico uniforme e rigidamente esplicitato.

Pertanto, è emersa fortemente l’esigenza di standardizzare metodologicamente la procedura di valutazione individuando un indicatore lordo multidimensionale della qualità della didattica che sia indipendente da preventive assunzioni teoriche e dalla soggettività di scelte individuali quale potrebbe essere ad esempio, l’indicatore di entropia. (Di Traglia 2013)

E. Conclusioni

Il documento parte dall’analisi dei termini “valutazione” e “misurazione” che discute in relazione alla qualità della didattica/docente sia per gli aspetti generali che per quelli specifici per la Scuola di Medicina.

Con riferimento al DM 47/13 ed al binomio autovalutazione/valutazione applicato alla figura del docente, si sottolinea l’importanza dell’autovalutazione come forma di responsabilizzazione del docente nei riguardi dell’istituzione. Si avanzano inoltre proposte di modifica (formulazione e tempistica) del questionario di valutazione del docente da parte degli studenti proposto dall’ANVUR-AVA perché più rispondenti alle finalità/peculiarità didattiche del Corso di Laurea Magistrale in Medicina e Chirurgia.

Come indicato nelle premesse generali, l’analisi/valutazione del prodotto richiede la definizione di obiettivi predeterminati. Per tale motivo è estremamente importante definire in modo chiaro, attraverso la utilizzazione del Core Curriculum nazionale della Conferenza, le competenze che un laureato in Medicina e Chirurgia deve possedere, definire cioè la figura del “Medico Normale Italiano” (corrispondente al medico standard della bibliografia anglosassone). Questa operazione culturale condizionerà a ritroso i contenuti/obiettivi dei singoli core curricula disciplinari  con conseguente normalizzazione delle competenze e agevolazione del trasferimento degli studenti tra le diverse sedi.

F. Proposte

A titolo ricapitolativo e per aprire la discussione riportiamo in elenco le proposte più significative contenute nel documento:

– Schede di valutazione ANVUR (autovalutazione del docente e valutazione del docente da parte degli studenti): proposte di modifica nel rispetto delle specificità del Corso di Laurea Magistrale in Medicina e Chirurgia;

– Valutazione del Tutor clinico: proposta ex novo di un questionario di gradimento/soddisfazione degli studenti;

– Indicatori di sistema: preparazione di uno strumento omogeneo per tutte le Sedi di elaborazione dei dati relativi ai risultati dei questionari di valutazione;

– Proposta di istituzione dello strumento degli Audit (eventualmente gestito dalla Conferenza);

Proposta di istituzione di un Sistema di Formazione Permanente per la Didattica (tipo ECM);

– Proposta di istituzione di un “Comitato di Monitoraggio delle attività didattiche” della Conferenza con ruolo di supporto alla triade tecnica locale dell’ANVUR (PQ, NV, CP) e di collegamento ad un “Osservatorio Permanente” da istituire a livello della Conferenza ;

– Proposta di ricongiunzione di tutti i sistemi di valutazione con il Core Curriculum (unico per tutte le Sedi e con set di standard per singola disciplina) e definizione del Medico Normale Italiano;

– Prospettiva di Istituzione dell’Abilitazione Nazionale Didattica gestita, come quella scientifica, da ANVUR.

Ringraziamento

Un particolare ringraziamento va a Maria Luisa Eboli, Tiziana Bellini e Laura Recchia per le lunghe ed appassionate sessioni che ci hanno coinvolto nella stesura del presente documento. A Massimo Casacchia, il cui lavoro di coordimento fatto prima di me ha costituito la solidissima fondazione su cui abbiamo costruito il nostro edificio. Ad Andrea Lenzi che ci ha guidato con la mano ferma ed esperta del timoniere straordinario che è.

1) Bisio C. (a cura di), Valutare in formazione. Azioni, significati e valori, Angeli-AIV, Milano, 2002.

2) Di Traglia M., Recchia L., Curcio F., La valutazione della didattica: dalla raccolta delle opinioni degli studenti come espressione di gradimento ad un modello di valutazione della qualità tramite indicatori di prodotto VII Congresso Nazionale SISMEC (Società Italiana di Statistica Medica ed Epidemiologia Clinica  Sapienza – Università di Roma, 25-28 Settembre 2013.

3) Eisner, E.W., “Educational objectives: help or hindrance?” School review, vol.75, 1967.

4) Fraccaroli F., Vergani A., Valutare gli interventi formativi, Carocci-Le Bussole, Roma, 2004.

5) Lipari D. Progettazione e valutazione nei processi formativi, Edizioni Lavoro, Roma, 1995.

6) Rampichini C., Grilli L., Petrucci A.,  Statistical Methods and Applications, 13(3):357-373, 11/2004.

7) Snijders Roel J. Multilevel Analysis: An introduction to basic and advanced multilevel modeling, Sage Publishers, 1999.

8) R. Tyler “Basic Principles of Curriculum and Instruction” University of Chicago Press, 1949.

Curcio F., Recchia L., Tonin E., et al, Criteri e parametri di valutazione della didattica ai fini della valutazione del docente, Medicina e Chirurgia, 63: 2830-2841, 2014. DOI:  10.4487/medchir2014-63-2