Preparazione dei test di valutazione integratan.54, 2012, pp.2420-2425, DOI: 10.4425/medchir2012-54-9

Autori: Luciano Vettore
Print Friendly, PDF & Email

Abstract

The assessment influences (drives) both the type and degree of learning; therefore, it is first necessary to change the way in which the assessment of students is made in order to change their way of learning. A useful and efficient examination test should have three essential goals: it should attempt to integrate multidisciplinary knowledge; it should assess knowledge and abilities by testing competence; students should be helped to correlate interdisciplinary knowledge and competence, possibly using a problem solving approach. The various techniques of assessment explore different fields of learning. So different types of tests have to be used to eva¬luate the acquisition of knowledge and of gestural or com¬munication skills. It is also necessary that the evaluation test be appropriate to the taxonomic level of the learning objectives. This paper examines advantages and disadvantages of the various evaluation tests. Some essential rules for building multiple choice questions (MCQ) are described to assess the attainment of cognitive learning objectives. The validity of MCQ is verified by docimologic indices. To evaluate the performance of both gestural and communication skills, their whole action should be divided into a sequence of singular observable and – if possible – measurable steps in a check list. The evaluation of gesture must consider the essential ability that the future professional will be able to master in an autonomous and automatic fashion. The communication skills can be evaluated using the “role playing” technique, or discussing in small groups the video sequences of a conversation. There follows a discussion of how the exam tests can be prepared taking into account learning objectives and their ap¬propriate evaluation techniques. Possible solutions for an effective integration of the exam tests are then suggested, stressing the importance that their plan¬ning be achieved through a collegial activity, so that both le¬arning and teaching are organized in an integrated fashion. Finally, a few practical suggestions are given to prepare exam tests which are both effective and fair.

Articolo

Premessa

E’ opinione condivisa e più volte ricordata che lo studente studia per l’esame e che ciò che non viene adeguatamente valutato è destinato fatalmente a essere svalutato.

E allora, quando si scelgono le prove d’esame, bisogna interrogarsi su quale tipo di apprendimento si ritenga necessario ottenere: si vuole valutare che cosa lo studente ricorda alla fine del Corso o piuttosto che cosa si ricorda ancora dopo qualche tempo ? E dal punto di vista della formazione professionale, è sufficiente che ricordi delle conoscenze, o non bisognerebbe anche verificare quali nuove competenze e abilità abbia acquisito in modo permanente?

Credo che un esame “ottimale” dovrebbe facilitare e misurare l’acquisizione duratura di competenze, cioè la capacità di utilizzare le conoscenze.

Un’altra opinione frequentemente ripetuta è quella che afferma che la valutazione condiziona il tipo e il grado di apprendimento. E allora, se vogliamo cambiare efficacemente il modo di apprendere, dobbiamo – prima – cambiare il modo di valutare.

In particolare, mi paiono essenziali tre obiettivi di una valutazione utile ed efficace:

  • integrare la valutazione delle conoscenze multidisciplinari;
  • valutare le conoscenze e le abilità attraverso la verifica delle competenze;
  • aiutare gli studenti a correlare le conoscenze e le competenze interdisciplinari mediante la soluzione di problemi.

Il conseguimento di questi tre obiettivi ha come risultato quello che si chiama un apprendimento “significativo”, cioè non “meccanico” in quanto esclusivamente mnemonico.

Inoltre, se la valutazione cambia in modo “virtuoso”, essa modifica anche il modo di insegnare: di fronte a studenti capaci di apprendere in modo critico e autonomo il docente si proporrà di trasferire il senso e il valore dei saperi proposti più che i loro dettagli (già contenuti nei libri di testo), si sforzerà di insegnare in modo “integrato” per far apprendere in modo “integrato”, e perseguirà un insegnamento e un apprendimento fondati sulla soluzione dei problemi che si incontrano più frequentemente nella pratica professionale, perché questo approccio è il più efficace per integrare le conoscenze e trasformarle in competenze.

Strumenti e tecniche di valutazione 

Gli strumenti di valutazione, per risultare efficaci, dovrebbero possedere i seguenti cinque requisiti qualitativi:

  • validità: grado di precisione con cui lo strumento misura ciò che deve misurare;
  • fedeltà o affidabilità: costanza con cui uno strumento misura la stessa variabile;
  • oggettività: grado di concordanza dei risultati ottenuti con lo stesso strumento da esaminatori indipendenti;
  • comodità: organizzazione, impegno, tempi e costi di preparazione ed esecuzione, che garantiscono la fattibilità;
  • equità: uguale trattamento degli esaminandi.

Non ci si può nascondere che è tutt’altro che facile realizzare prove di verifica dell’apprendimento che riescano a soddisfare adeguatamente tutti questi requisiti, ma almeno ci si deve impegnare a fondo per avvicinarsi alle condizioni ottimali.

Per farlo è necessario innanzi tutto rendersi conto che le differenti tecniche di valutazione esplorano qualità differenti dell’apprendimento.

Per verificare le conoscenze, e in qualche misura anche le competenze, risultano strumenti efficaci, sia pure in grado diverso: l’esame orale; le differenti tipologie di esame scritto (il “compito” tradizionale su di un tema, la relazione, le domande a scelta multipla, le domande a risposta breve aperta), e strumenti più sofisticati quali le mappe concettuali e l’esame a “tre salti” o “triple jump”1 (valido soprattutto in ambito clinico per valutare l’apprendimento per problemi).

Per valutare le abilità sia gestuali che relazionali è indispensabile porre l’esaminando nelle condizioni di esercitare tali abilità (esecuzione di manovre per le abilità gestuali e “role playing” per le relazionali); la verifica della performance viene effettuata con l’aiuto di “griglie”, che dettagliano le tappe essenziali della manovra, o rispettivamente le qualità della relazione da far eseguire. Può venire allestito un setting particolare d’esame  “a stazioni”, denominato OSCE (Obiective Structured Clinical Examination), nel quale viene valutata in tempi contenuti la performance di numerosi studenti nell’esercizio di abilità gestuali e relazionali.

Per valutare le competenze cliniche uno strumento particolarmente idoneo è il così detto “paziente standardizzato” o “simulato” (attori o ex pazienti adeguatamente preparati, che simulano il ruolo di un paziente; lo studente interroga il paziente e successivamente ne esegue l’esame fisico, per lo più sotto il controllo di un valutatore, dotato di una “griglia” di osservazione).

La scelta del metodo valutativo dipende non solo dal campo del sapere (cognitivo, gestuale o relazionale), ma anche dalle situazioni concrete di applicazione (tempi, numero degli studenti, da esaminare e dei docenti disponibili, etc.) e dalle caratteristiche dell’obiettivo educativo di cui si vuole verificare il conseguimento, possibilmente in condizioni che simulino la realtà professionale.

Ogni modalità, strumento o tecnica valutativa presenta pregi e difetti.

L’esame orale consente di verificare la capacità dello studente di ragionare, di argomentare e di esprimersi, cioè di valutare non solo le conoscenze ma anche caratteristiche personali e psicologiche, ma presenta anche alcuni difetti: una obiettività e una riproducibilità piuttosto scarse, il rischio di disequità e la necessità di tempi considerevoli.

Per migliorare la qualità e l’efficacia dell’esame orale possono risultare utili alcuni consigli:

  • preparare in anticipo un repertorio di domande con differente livello tassonomico, coerenti con gli obiettivi formativi proposti agli studenti;
  • bandire le domande “estemporanee” o “bizzarre”;
  • prestabilire i criteri di valutazione: punteggi e integrazione con i risultati di un’eventuale prova scritta;
  • cercare di valutare il processo oltre che i risultati dell’apprendimento, cosa abbastanza difficile da realizzare: il processo può risultare in qualche misura visibile inducendo lo studente a ragionare ad alta voce, il che non si limita a verificare la mera memorizzazione delle nozioni.

Va infine sottolineato che l’oggettività delle prove di valutazione è un valore, ma non può essere considerato un totem da perseguire in tutte le situazioni valutative.

Gli esami scritti hanno certamente il pregio di essere per definizione oggettivi, equi e parzialmente comodi, ma presentano, a seconda delle modalità di effettuazione, differenti pro e contro, riportati nella tabella 1.

Tabella 1: Luci e ombre dei test valutativi scritti2

Relazione o tesina scritta –  espressione libera delle conoscenze e delle argomentazioni-  scomodità e soggettività nella valutazione
Domande a risposta aperta breve (DRAB) – apparente facilità di preparazione- difficoltà di correzione: possibilità di risposte non interpretabili in  modo univoco- utilità e validità dipendenti dalla qualità delle domande
Test vero/falso –  maggiore facilità di preparazione e di verifica-  maggiore rischio di risposta corretta casuale (50% di probabilità)
Domande a risposta multipla (DSM o MSQ) – difficoltà di preparazione adeguata- efficacia valutativa dipendente dalla qualità- oggettività e comodità della verifica
Quiz “complessi” (di associazione, affermazione/motivaz.) – difficoltà di preparazione e di risposta- validità nella verifica di processi cognitivi elevati
Mappe concettuali – validità nella verifica dei processi mentali- difficoltà di standardizzazione dei criteri di valutazione

Le domande con risposte a scelta multipla

La tipologia di quiz  più comune (e forse la migliore) è quella delle domande chiuse con 5 risposte, di cui un sola inequivocabilmente corretta (DMS). Le componenti delle DMS sono definite nella Tabella 2.

Tabella 2: Terminologia delle DSM

COMPONENTI DEFINIZIONI

Enunciato

Problema come quesito o come affermazione da completare

Scelte alternative

Elenco di soluzioni suggerite (parole, numeri, simboli o frasi)

Risposta/e

Risposta/e senza alcun equivoco corretta

Distrattori

Risposte alternative plausibili, ma indubitabilmente NON corrette

Nella costruzione delle DSM è opportuno seguire alcune regole generali: innanzi tutto ogni quesito dovrebbe focalizzarsi su un unico obiettivo; per ragioni di semplicità, ma anche di chiarezza, sono preferibili i quiz con una sola risposta corretta, ma in alcune circostanze (per es., in quiz inseriti in casi clinici a cascata, dove più decisioni debbono essere prese contemporaneamente) si possono utilizzare check list con più di cinque risposte, delle quali più d’una sono corrette; vale a questo proposito il consiglio di aumentare il numero complessivo delle risposte che fungono da distrattori in relazione al numero di quelle corrette (per es., 8-9 distrattori per 2-3 risposte corrette).

Per non orientare lo studente alla scelta della risposta corretta è opportuno che tutte le risposte – sia quelle corrette che quelle errate – siano di lunghezza simile e le risposte corrette debbono essere disposte in ordine casuale (non al primo, al terzo o all’ultimo posto, come inconsapevolmente si rischia spesso di fare); unica eccezione è data dalle risposte numeriche, che vanno elencate in ordine crescente.

Si deve porre molta attenzione nel correggere gli errori ortografici, e vanno altresì evitate le abbreviazioni e la punteggiatura non necessaria. Con l’analogo fine di non aggiungere difficoltà interpretative ingiustificate a quelle intrinseche al quesito dovrebbero essere sempre utilizzate frasi affermative, evitando quelle negative (es., quale delle seguenti condizioni NON …), o ancor peggio contenenti doppie negazioni.

E’ pure assolutamente da evitare l’artificio della quinta risposta del tipo “tutte le precedenti” oppure “nessuna delle precedenti”, che indica soltanto l’incapacità dell’estensore di trovare una quinta risposta plausibile.

Vanno evitate le affermazioni opinabili o banali, ma anche le frasi tratte da libri di testo.

Soprattutto nelle prove “a cascata” è necessario porre attenzione nell’elaborazione delle domande, che debbono essere del tutto indipendenti dalle risposte date alle domande precedenti.

Può risultare utile usare modelli di quiz già positivamente sperimentati.  Infine, nei limiti del possibile sarebbe opportuno privilegiare quesiti che richiedano la interpretazione di dati, la soluzione di problemi, l’assunzione di decisioni e quiz che richiedano l’applicazione di nozioni piuttosto che la loro semplice memorizzazione.

Dopo la preparazione delle DSM per una prova di valutazione, i singoli quiz dovrebbero venire sottoposti a una verifica di qualità, attuabile rispondendo ai seguenti quesiti:

  • Il quiz esplora una conoscenza attinente a un obiettivo didattico pertinente?
  • La domanda è comprensibile?
  • Le varie risposte hanno una lunghezza ragionevole e senza parole inutili?
  • C’è un’unica risposta corretta, o indiscutibilmente migliore?
  • Le affermazioni indirizzano la risposta?
  • I “distrattori” sono plausibili?
  • Si sono evitate le risposte: “nessuna delle precedenti” o “tutte le precedenti”?
  • Si sono evitate le domande “negative”?
  • I contenuti sono stati accantonati per un po’ di tempo prima della loro revisione?
  • Dopo la revisione di un quiz, il suo quesito è ancora rilevante?
  • Il numero complessivo dei quesiti nella prova è adeguato?

Inoltre, un’ulteriore verifica delle validità dei quiz va effettuata dopo la loro somministrazione con il calcolo degli indici docimologici, almeno dei due principali:

  • l’indice di facilità: calcola la percentuale delle risposte corrette per ogni quiz somministrato in una prova d’esame; sono adeguate le domande con un indice comprese tra il 30 e il 70% (valori ottimali del 50-60%); non è molto informativo per piccoli numeri di esaminandi
  • l’indice di discriminazione: rivela in che misura un determinato quesito discrimina i candidati meglio preparati da quelli più scadenti; si calcola dividendo i candidati in 3 gruppi di uguali dimensioni: alto, medio e basso, in base al punteggio complessivamente conseguito in una prova d’esame; per ogni quesito va calcolata la percentuale di risposte corrette nei 3 gruppi:  la differenza nella percentuale di risposte corrette tra gruppo “alto” e gruppo “basso” dà una buona stima dell’efficacia discriminante di ogni singolo quiz; i valori ottimali sono compresi tra 0,25 e 0,35.

Relazione tra tipi di obiettivi cognitivi e test di verifica dell’apprendimento

I molteplici strumenti di valutazione degli obiettivi cognitivi debbono essere coerenti con il loro livello tassonomico: memorizzazione, interpretazione di dati, soluzione di problemi e assunzione di decisioni (Tabella 3).

Tabella 3: Relazione tra  i differenti tipi di test valutativi  e i livelli tassonomici degli obiettivi cognitivi.

Memorizzazione di nozioni:·  Domande a scelta multipla (DMS 1/5)·  Domande a Check list (Quiz x/y·  Domande a risposta aperta breve (DRAB) Interpretazione di dati:·  Check list (Quiz x/y)·  Quiz di associazione·  Casi brevi con Quiz “a cascata”·  Es. orale su schema scritto·  Mappe cognitive
Soluzione di problemi:·  Casi-problema realistici con informazioni alternate a domande (Quiz di vario tipo e DRAB, tutti con punteggi prestabiliti)·  Valutazione tra pari in piccolo gruppo
(= ragionamento a voce alta)·  Triple jump (per es., su un caso clinico reale) con relazione scritta sul percorso diagnostico·  Mappe cognitive·  Tirocinio tutorato con compiti prestabiliti
Assunzione di decisioni motivate:·  Casi-problema realistici con informazioni alternate a domande (Quiz di vario tipo e DRAB, tutti con punteggi prestabiliti)·  Valutazione tra pari in piccolo gruppo
(= ragionamento a voce alta)·  Triple jump (per es., su un caso clinico reale) con relazione scritta sulle motivazioni delle decisioni·  Disegno di flow chart decisionali·  Tirocinio tutorato con compiti prestabiliti

Valutazione delle abilità pratiche

Finora abbiamo considerato la valutazione degli obiettivi cognitivi; per ogni pezzo che un artigiano deve costruire serve l’attrezzo adatto e per ogni costruzione serve una cassetta ben fornita di attrezzi differenti; lo stesso vale per le procedure valutative.

Le prove di verifica delle abilità (sia gestuali che relazionali) debbono riguardare atti professionali che posseggono standard qualitativi di riferimento, perché altrimenti non è possibile valutare in modo affidabile la performance dell’operatore; inoltre debbono  essere eseguibili in tempi ragionevoli, debbono essere attuabili con i mezzi disponibili e debbono riguardare attività frazionabili in tappe, ciascuna con connotati osservabili e misurabili. Le singole tappe di esercizio di una abilità relativa a un’attività gestuale o relazionale costituiscono la “griglia” di osservazione e di valutazione (semi-)quantitativa della performance dell’operatore, per la quale deve essere definito a priori il livello minimo accettabile (LAP).

Elemento rilevante per la valutazione (come per l’apprendimento) delle abilità sia gestuali che relazionali è la cura del setting, che deve essere ovviamente coerente con il tipo di abilità considerata.

La valutazione sul campo delle abilità gestuali deve riguardare le abilità essenziali e irrinunciabili al livello professionale iniziale (quelle comprese nel “core curriculum”), cioè le azioni che il futuro professionista deve essere in grado di effettuare in modo autonomo e automatico al momento della laurea; ovviamente deve considerare le abilità certamente insegnate e apprese come obiettivi definiti durante tutto il corso degli studi.

L’esercizio delle abilità gestuali prevede anche le conoscenze teoriche ad esse pertinenti, che peraltro non costituiscono parte esplicita della prova di verifica.

La valutazione sul campo delle abilità relazionali deve riguardare, a seconda del livello tassonomico:

  • gli aspetti comportamentali, attinenti alla buona educazione, cioè il rispetto, l’aderenza al ruolo, il controllo delle azioni, l’attenzione all’ambiente, etc,;
  • gli aspetti comunicativi quali la chiarezza, l’ adeguatezza del messaggio, l’attenzione alla sua comprensione, etc.;
  • gli aspetti tecnici, quali la scelta adeguata al momento in cui porre all’interlocutore domande aperte o chiuse, il contatto visivo, il linguaggio non verbale, etc.

Le tecniche di  valutazione delle abilità relazionali, riguardanti per lo più lo stile comunicativo, comprendono il “role playing” o gioco dei ruoli e la discussione in piccolo gruppo di videoregistrazioni di momenti relazionali. Anche per la valutazione di queste abilità è indispensabile stabilire a priori criteri standardizzati di osservazione e predisporre griglie adeguate di valutazione.

E’ molto difficile sondare il livello empatico della relazione; per la valutazione – comunque approssimativa – di questo livello può essere più affidabile l’osservazione prolungata sul campo dei comportamenti del soggetto da valutare  e l’utilizzazione di strumenti, quali il “diario di bordo”, nel quale lo studente è invitato ad annotare le proprie reazioni emotive alle situazioni cui viene esposto in sede di tirocinio.

La valutazione delle abilità relazionali non è direttamente finalizzata alla verifica dei contenuti della comunicazione, che attengono al campo teorico cognitivo.

Pianificazione delle prove d’esame

La pianificazione  delle prove d’esame richiede la definizione preliminare degli obiettivi essenziali di apprendimento  (“core curriculum”), del “campo” al quale appartengono i differenti obiettivi formativi (cognitivi, pratici, relazionali, metacognitivi o metodologici), e del loro livello tassonomico. Successivamente è necessario individuare quali tra le molteplici metodologie valutative siano realisticamente applicabili nel proprio contesto operativo, considerando peraltro anche le possibilità concrete di attivare modalità di verifica ancora non disponibili nel setting specifico; quindi bisogna focalizzare quali delle metodologie valutative effettivamente disponibili siano le più idonee per verificare il grado di apprendimento dei singoli obiettivi scelti; solo a questo punto è possibile preparare la prova d’esame con la scelta delle metodologie valutative coerenti con i gli obiettivi prescelti.

Nella costruzione di una prova d’esame che comprenda obiettivi formativi di natura cognitiva con differenti livelli tassonomici può risultare utile in prima istanza  accorpare gli obiettivi di memorizzazione (non troppo numerosi) in un test con DSM o DRAB; successivamente vanno individuati gli obiettivi di interpretazione di dati o di soluzione di problemi, che possono essere verificati con DSM in “test a cascata”; infine si deve valutare l’utilità di una prova orale (per lo più successiva a quella scritta), finalizzata alla verifica della capacità di ragionamento e di argomentazione; ciò può effettuarsi anche con la discussione con il candidato delle sue risposte alle DMS o alle DRAB.

Va sottolineato, come si è già detto, che  la memorizzazione di molte nozioni può essere valutata anche soltanto dalla loro applicazione in situazioni concrete: infatti non possono essere applicate conoscenze non possedute, mentre verificandone l’applicazione si valutano  contemporaneamente conoscenze e competenze.

Integrazione delle prove d’esame

Un obiettivo troppo spesso trascurato è quello dell’integrazione effettiva delle prove d’esame, per esempio negli esami di corso integrato o di semestre; per conseguire questo obiettivo sarebbe utile che i docenti del corso integrato (o del semestre) in modo collegiale concordassero prima dello svolgimento del corso gli obiettivi didattici pertinenti dei singoli insegnamenti, individuando le possibili integrazioni reciproche di tali obiettivi; a questa fase dovrà seguire quella della preparazione – se possibile sempre collegiale – dei test; infine, dopo la loro somministrazione e la relativa correzione sarà possibile modificare (o eliminare) quelli che alla prova dei fatti (per es., per i cattivi risultati degli indici docimologici) si saranno dimostrati qualitativamente scadenti.

L’integrazione della valutazione in un esame finale del CdL può giovarsi della sua pianificazione bottom-up; tale pianificazione prevede il percorso da parte del corpo docente delle seguenti tappe:

  1. l’individuazione nell’intero curriculum delle conoscenze essenziali alla competenza professionale; tali conoscenze possono essere desunte dal “core curriculum”  e dalla considerazione critica dei “progress test” svolti durante l’intero corso di studi;
  2. la definizione preliminare delle competenze irrinunciabili allo stadio iniziale dell’esercizio professionale;
  3. la ricerca delle correlazioni/integrazioni possibili tra le competenze multi-disciplinari, fine che può raggiungersi con la preparazione di problemi interdisciplinari;
  4. il consenso sulle modalità di valutazione delle conoscenze e delle competenze integrate.

Una procedura di questo genere potrà avere come conseguenza sperabile anche la promozione di modalità d’insegnamento che facilitino l’apprendimento integrato, realizzando l’ aforisma: “assessment drives learning and teaching”.

Concretamente un esame conclusivo per la verifica delle competenze cliniche (mediche e chirurgiche) – forse anche utilizzabile come esame di abilitazione all’esercizio della professione – potrebbe essere costituito in successione dalle seguenti prove:

  • la soluzione “carta e penna” di alcuni casi clinici “a cascata”, con i quali viene valutata la capacità di risolvere problemi e di assumere decisioni pertinenti in ambito “generalistico” (cioè non strettamente specialistico), medico e chirurgico; questa prova viene valutata con un voto oggettivo, che poi verrà “integrato” con i risultati delle prove successive;
  • la discussione orale individuale con lo studente delle soluzioni date ai quesiti posti nei casi clinici; questa prova perfeziona il precedente voto oggettivo, valutando oltre alle conoscenze e alle competenze più strettamente professionali, anche le abilità metodologiche (capacità di applicazione ragionata del “metodo clinico”);
  • una prova pratica “bed side” (o con paziente “simulato”) per la valutazione delle abilità relazionali e gestuali; anche il risultato di questa prova ottiene un voto parziale;
  • infine, la definizione sintetica del voto finale, derivante dall’integrazione (che non è obbligatoriamente la media aritmetica, ma piuttosto la media “ponderata) dei voti parziali.

Conclusioni

Nella realtà concreta dei nostri CdL spesso si manifestano alcuni “pregiudizi” sugli esami che vengono espressi con le seguenti affermazioni:

  • con l’esame orale mi accorgo subito cosa sa lo studente: è preparato se risolve i problemi come ho fatto io a lezione;
  • con i quiz non si possono valutare i ragionamenti;
  • ci vuole troppo tempo per preparare e poi correggere i quiz;
  • agli esami scritti gli studenti copiano;
  • nel nostro Corso integrato noi facciamo già gli esami integrati: ogni docente fornisce da 5 a 10 quiz; così nessuno può accusarci di tresche o ingiustizie;
  • l’esame è mio e lo gestisco io; e ognuno deve gestire il suo.

Si tratta per l’appunto di “pregiudizi”, che di fatto nascondono la mancata volontà o la paura di cambiare le proprie abitudini didattiche.

Certamente è vero che purtroppo non esiste il test di valutazione “perfetto”, ma ogni strumento valutativo deve essere utilizzato coerentemente con i suoi fini; per ottenere risultati affidabili e quindi soddisfacenti le valutazioni dell’apprendimento dovrebbero avvalersi di punti di osservazione diversi e complementari che riguardino sia i risultati che il processo dell’ apprendimento stesso. Per questo è opportuna in ogni valutazione l’associazione di test formalmente diversi.

Tutto ciò che è stato scritto fino a questo punto può sembrare una discettazione teorica, troppo difficile da realizzare nella pratica; non vì è dubbio che sia difficile, ma non impossibile, anche se richiede un impegno faticoso, ma i risultati ottenibili dovrebbero costituire una motivazione e una gratificazione sufficienti a giustificare le difficoltà incontrate nell’impresa.

E’ comunque incontestabile che una modalità corretta di valutazione è di per sé un potente strumento formativo.

Riassuntivamente può forse risultare utile qualche consiglio “pratico”.

Per ottenere i risultati sperati, gli esami dovrebbero: avere dimensioni non troppo piccole, né troppo grandi; non essere troppo numerosi e/o frequenti; facilitare l’integrazione e la sintesi delle conoscenze; consentire un tempo sufficiente per l’acquisizione duratura delle competenze.

Per garantire la preparazione di “buoni” test cognitivi d’esame le domande (DSM e DRAB), come abbiamo già detto, debbono essere preparate e valutate collegiamente, e vanno testate in prove “formative” prima della loro somministrazione con fini certificativi”; ai risultati delle prove “formative” vanno applicati i test docimologici, che consentono di correggere le domande non soddisfacenti.

Sarebbe molto utile che le domande soddisfacenti venissero archiviate in una “banca dati” accessibile dai docenti di tutti in CdLM italiani. Alla costruzione di questa “banca dati” possono validamente contribuire anche quiz importati da “data base” già disponibili in molti Paesi stranieri, tradotti ed eventualmente adattati alle modalità formative consuete nei CdLM italiani. E possono altresì contribuire alla stessa “banca dati” pure le domande migliori, utilizzate nel tempo per i “progress test”.

Ovviamente i quiz scelti debbono essere classificati in relazione a “indicatori” quali l’ argomento, l’obiettivo formativo, il livello tassonomico e il risultato dei test docimologici. E bisogna anche disporre di una procedura per la estrazione automatica dalla “banca dati” delle domande necessarie secondo i loro “indicatori”.

La “banca dati” va gradualmente incrementata e modificata nel tempo. Si tratta di un impegno inizialmente piuttosto gravoso, ma che – se realizzato sia pure con pazienza in tempi non brevissimi – avrebbe ricadute molte positive sulla didattica dei nostri CdLM.

 Anche gli studenti vanno preparati alle prove d’esame: in primo luogo debbono essere definite chiaramente e rese pubbliche le regole del gioco; cioè all’inizio di ogni corso integrato debbono essere comunicati agli studenti il programma di apprendimento (obiettivi didattici specifici  tratti dal “core curriculum” utilizzato), il programma di insegnamento (contenuti e calendario delle lezioni) e le modalità di effettuazione dell’esame (scritto, orale, pratico, misto). Durante il corso è opportuno “allenare” gli studenti con prove “formative” costruite con domande tratte dalla “banca dati” (ma gli studenti non debbono conoscere l’intera banca dati per evitare una loro preparazione esclusivamente mnemonica, come purtroppo è già accaduto con i quiz dell’esame di stato); per rendere efficaci queste iniziative di preparazione degli studenti all’esame certificativo, ad essi deve essere dato il feed back sul risultato complessivo (cioè non individuale) delle prove formative.

Anche le prove d’esame debbono essere organizzate accuratamente; ciò vuol dire:  scegliere l’ambiente più idoneo per le prove scritte, tale da consentire una buona distribuzione degli studenti nell’aula in base al loro numero; comunicare loro con anticipo adeguato data, orario, durata e sede della prova; predisporre accuratamente il materiale necessario (testi cartacei con le domande randomizzate, se possibile, anche nelle risposte); predisporre e attuare efficaci modalità di sorveglianza; predisporre modalità adeguate per la correzione delle prove (schede e lettore ottico se i candidati sono numerosi).

Analogamente vanno preparate anche le prove orali d’esame, innanzi tutto decidendo preliminarmente con chiarezza le finalità dell’esame orale: prova unica (per valutare sia le conoscenze che le capacità razionali di applicazione), oppure di completamento della prova scritta (per valutare soprattutto le capacità di ragionamento); inoltre è necessario definire e concordare preliminarmente le caratteristiche di collegialità della prova (esame “integrato”), e debbono essere comunicati con anticipo adeguato e con chiarezza agli studenti fini, modalità e collocazione temporale della prova.

Infine, anche le prove pratiche per la valutazione delle abilità gestuali e relazionali (per esempio mediante l’OSCE) richiedono una predisposizione altrettanto accurata del setting.

Forse queste precisazioni sembreranno superflue per la maggioranza dei CdLM, ma non si può negare che non sempre gli studenti possono fruire di informazioni adeguate e particolareggiate. Esse di fatto costituiscono le regole deontologiche delle prove d’esame.

Preparare, organizzare ed effettuare in modo corretto ed efficiente queste prove non è meno importante dell’insegnare e del far apprendere; si tratta di un’attività complessa e impegnativa, spesso non immediatamente gratificante, ma dobbiamo ricordarci sempre che le modalità della valutazione dell’apprendimento condizionano significativamente sia l’apprendimento stesso che l’insegnamento.

D’altra parte l’impegno rilevante che esse richiedono fa parte dei doveri etici di ogni docente.

Cita questo articolo

Vettore L, Preparazione dei test di valutazione integrata, Medicina e Chirurgia, 54:2420-2425, 2012. DOI: 10.4425/medchir2012-54-9

____________________
  1. Raccolta delle informazioni necessarie su un problema clinico presentato in modo succinto; elaborazione delle informazioni raccolte per risolvere il problema; presentazione ragionata della soluzione []
  2. Nei materiali inviati via mail dal Segretario della Conferenza dopo la fine della sua 103a riunione sono compresi alcuni esempi commentati di quiz di buona e cattiva qualità (e anche esempi di griglie per l’ osservazione e la verifica di abilità gestuali e relazionali: v. oltre). []

Comments are closed.