Articolo

Il progetto TECO si inscrive nella strategia complessiva e progressiva dell’ANVUR per un miglioramento della qualità della didattica universitaria. Uno dei primi passi è stato l’istituzione del sistema AVA (Autovalutazione, Valutazione Periodica e Accreditamento), orientato ad una valutazione fortemente econometrista del sistema universitario italiano. Si richiedeva infatti di descrivere le strutture e i processi degli Atenei e dei Corsi di Studio, come presupposti indispensabili per una buona didattica. Si ritenne allora che misurare anche il prodotto della formazione universitaria fosse troppo difficile, e ci si limitò al numero di laureati in corso o ai CFU maturati o agli abbandoni. Questi tipi di indicatori si denominano genericamente come output e sono di solito facilmente enumerabili. L’outcome, cioè l’esito, ovvero la formazione di alta qualità che si vuole ottenere alla fine di un percorso universitario, è viceversa un costrutto più impalpabile, che non può essere ridotto alla sola valutazione delle conoscenze teoriche acquisite. L’ANVUR ha quindi sviluppato un quadro di riferimento (Fig. 1) incentrato sui Descrittori di Dublino.

I primi due livelli dei Descrittori (colonna a destra) sono valutati da un insieme di strumenti di valutazione denominati TECO-D (D sta per disciplinare), sviluppati dal basso dalle comunità accademiche disciplinari. Viceversa, alcune abilità ascrivibili al livello di Autonomia di giudizio sono valutate con gli strumenti del TECO-T (T sta per Trasversale), che sono stati sviluppati top-down dall’ANVUR, in consultazione con esperti di settore.

IL TECO- T

Le competenze trasversali sono una eterogenea classe di costrutti così denominati perché non fanno riferimento ad un dominio disciplinare specifico, ma li attraversano tutti. Sono competenze che si costruiscono lungo tutto il percorso formativo di una persona, scolastico e informale, ma ci si aspetta che giungano ad una più piena maturazione alla fine del percorso universitario.

L’ANVUR ha identificato quattro competenze trasversali: Literacy, Numeracy, Civics e Problem Solving.

1. La Literacy verifica i livelli di capacità degli studenti nel comprendere, interpretare eriflettere su di un testo non direttamente riconducibile a materie caratterizzanti un preciso Corso di Studi o ambito disciplinare, utilizzando due tipi di prove: un brano seguito da domande a risposta chiusa e un breve brano nel quale sono state cancellate delle parole (Cloze test) che lo studente deve reinserire.
2. La Numeracy misura i livelli di capacità degli studenti nel comprendere e risolvere i problemi logico-quantitativi, attraverso un breve brano corredato di grafici e tabelle seguito da alcune domande, un’infografica seguita da alcune domande e brevi quesiti di ragionamento logico.
3. Il Problem Solving valuta la comprensione e la capacità di risoluzione di problemi semplici e complessi, nonché la capacità di un individuo di conseguire obiettivi che in un dato contesto non possono essere raggiunti con azioni dirette o con concatenazioni note di azioni e operazioni.
4. La Civics valuta le competenze personali, interpersonali e interculturali che riguardano tutte le forme di comportamento e che consentono alle persone di partecipare in modo efficace e costruttivo alla vita sociale e lavorativa, come anche risolvere conflitti ove sia necessario. Alla base delle competenze civiche c’è la conoscenza di concetti come la democrazia, la giustizia, l’uguaglianza, la cittadinanza e i diritti civili.

Nei 4 anni scorsi l’ANVUR ha effettuato sperimentazioni su base volontaria dei test per queste competenze, allo scopo di validarli. Ora esiste un unico pacchetto di test TECO-T a disposizione

Il TECO-D e il concetto di “competenza
professionale”

Il TECO-D è lo strumento volto a valutare i primi due livelli dei Descrittori di Dublino, con riferimento a domini disciplinari specifici. Con la collaborazione delle comunità accademiche, coordinate in gruppi di lavoro, sono stati al momento definiti i “contenuti core” e le relative prove di valutazione per sei professioni sanitarie, la pedagogia e la filosofia¹.

Per comprendere appieno la portata e il significato del TECO-D, soprattutto per i CLM in Medicina, è necessario a questo punto richiamare il concetto di “competenza professionale”, nei termini il cui la nostra Conferenza lo ha definito in tanti anni di elaborazione e legarlo al senso del secondo livello dei descrittori di Dublino. Ispirandoci ad una delle definizioni più citata in letteratura² , possiamo considerare la competenza professionale di un medico come la “capacità di usare” la conoscenza teorica, le abilità tecnico manuali e comunicative, nonché le proprie risorse umane (carattere, emozioni, atteggiamenti e sistemi etici) per curare le persone e le comunità.

La competenza di un professionista, quindi, va al di là anche del secondo livello di Dublino (conoscenze e capacità di comprensione applicate), per abbracciare anche gli ultimi tre (giudizio etico, comunicazione e azione in una organizzazione, aggiornamento continuo). Tuttavia, la valutazione degli ultimi tre livelli è ancora più difficile della valutazione delle conoscenze teoriche e della capacità di usarle per risolvere problemi professionali, quindi il TECO-D si propone realisticamente di valutare solo l’aspetto cognitivo della competenza professionale.

Il TECO-M

Il TECO-D dedicato a Medicina è indicato in breve come TECO-M, ed è stato sviluppato in continuità col decennale lavoro sul Core Curriculum³ , col Progress test nazionale, nonché utilizzando parte dei test che erano già stati preparato in previsione delle prime lauree con abilitazione e dell’abolita prova scritta. Gli obiettivi del TECO-M sono

• valutare la capacità di comprendere e risolvere problemi clinici essenziali (vedi Tabella 1)
• valutare in maniera solo indiretta il possesso delle conoscenze teoriche necessarie alla capacità professionale

Il presupposto infatti è che a fine percorso, se lo studente è in grado di risolvere problemi clinici o di sanità pubblica che presuppongo il possesso di conoscenze teoriche per essere risolti, si possa inferire che possegga anche le conoscenze stesse. Risulta quindi poco produttivo proporre una valutazione diretta delle conoscenze di base (fisica, chimica, biochimica, anatomia, fisiologia, patologia generale e fisiopatologia, …) e di quelle ulteriori conoscenze teoriche che sono più direttamente connesse con la clinica o con la cura delle popolazioni (epidemiologia, organizzazione sanitaria, anatomia patologica, medicina di laboratorio, imaging, farmacologia, …).
Si potrebbe infatti dare il caso di uno studente che conosca molto bene la teoria che può condurre a una diagnosi e al seguente indirizzo terapeutico o a interventi di prevenzione o promozione della salute, ma non sia in grado di assemblare insieme i pezzi per formulare la diagnosi o il piano di intervento. Un tale studente non può essere considerato un esito formativo efficace: al termine del percorso gli studenti devono dimostrare competenza, non solo il possesso di conoscenze teoriche. Se viceversa si dimostra in grado di risolvere problemi professionali, è molto probabile che il laureando conosca anche la teoria sottesa alla soluzione. Se il numero di problemi a cui viene sottoposto è sufficientemente elevato, questa probabilità approssima la certezza.
Un limite oggettivo a questo ambizioso programma di valutazione è che nei test TECO-D è obbligatorio l’uso delle sole domande a scelta multipla e che esse siano assegnate secondo un ordine casuale e diverso per ogni studente. Ciò è dovuto a motivi logistici e di uniformità fra tutte le discipline del panorama universitario e ciò impedisce di usare altre forme efficaci di test (sequenze di vero/falso, ad incrocio esteso, sequenze di domande di sviluppo di uno stesso caso). Per gli stessi motivi, il numero di domande non può essere molto ampio e ciò solleva un problema di validità: l’enorme dominio di conoscenza a cui è esposto uno studente di medicina viene sufficientemente rappresentato in un insieme di 80- 100 domande? D’altra parte, una prova più lunga pone anche problemi di affidabilità, poiché entrano in gioco fattori di stanchezza psicofisica. Si ricordi che stiamo parlando di domande che richiedono l’analisi, interpretazione e soluzione di un problema clinico o di sanità pubblica, non di domande con quesito breve e su conoscenze fattuali parcellari

. … e il Progress Test?

Poche ultime righe per evidenziare la differenza tra il TECO-M e le precedenti edizioni del progress test. Per brevità le esprimeremo per punti.

1. Il Progress Test (PT) non valutava le competenze cognitive, ma principalmente le conoscenze teoriche. Anche le domande cliniche spesso esploravano la conoscenza nosografica più che il problem solving.
2. Il PT era per sua natura volto a valutare che le conoscenze ed alcune abilità cliniche progredissero costantemente lungo i sei anni. Il test valutava anche se le conoscenze acquisite nei primi anni venissero mantenute negli ultimi anni.
3. Il PT non era calibrato per esprimere una soglia di sufficienza, ma per esprimere una curva di progressione. Negli anni accademici in cui il PT è stato somministrato, le domande sono state di difficoltà variabile, desunte da un database statunitense, con una relazione non sempre diretta con il core curriculum nazionale. Queste considerazioni spiegano le percentuali piuttosto basse di risposte corrette anche a inizio dell’ultimo anno di corso (circa il 55-60%)
4. Il TECO-M intende valutare uno degli outcome dei CLM di Medicina: la componente cognitiva della competenza professionale. Nella sua struttura di strumento di misura esso va inteso come l’equivalente della soppressa prova scritta di abilitazione

Conclusioni

Al termine di questo articolo vorremmo proporvi alcune considerazioni finali:

• Il PT è stato uno strumento fondamentale di governo del sistema dei CLM di Medicina italiani, un’esperienza unica nel mondo
• Proporre il TECO-M anche ad anni inferiori al 6° ricalca l’utilizzo dei test fatto col PT. Questa volta la curva sarà esplicitamente monodimensionale (progressione della componente cognitiva della competenza), anche se la struttura dei singoli item, ciascuno orientato alla capacità di utilizzare un gruppo di conoscenze teoriche, ne dovrebbe consentire una interpretazione multidimensionale. La tabella 2 mostra alcuni esempi di domande e come esse possano esplorare i domini conoscitivi sottesi alle decisioni.
• La transizione dal PT al TECO-M può costituire il punto di svolta verso un orientamento sempre più basato sulla competenza dei nostri CLM. Ciò non rinnega la tradizione accademica italiana, che deve rimanere solidamente fondata sulla conoscenza teorica; al contrario, la fa evolvere verso un suo più pieno sviluppo.
• Come è noto, “la valutazione guida l’apprendimento”. L’adesione al TECO-M può essere perciò un rilevante elemento di evoluzione dei nostri CLM verso un modello complessivo di insegnamento/apprendimento più dichiaratamente orientato alla competenza, oltre che all’acquisizione delle conoscenze. Ciò sarà tanto più vero, quanto più il TECO-M sarà inserito organicamente nella progettazione del CLM, valorizzato, premiato e interpretato per quello che vuole essere: uno strumento di valutazione di efficacia formativa al servizio del corpo docente e dei nostri studenti.

Note

1 Maggiori dettagli sono disponibili a: https://www.anvur.
it/attivita/ava/teco-test-sulle-competenze/teco-d/

2 The habitual and judicious use of communication,
knowledge, technical skills, clinical reasoning, emotions,
values, and reflection in daily practice for the benefit of
the individuals and communities being served” in: Ep-
stein RM., Assessment in medical education, N Engl J Med 2007;356(4):387-96

3 http://presidenti-medicina.it/core-curriculum/

4 Gli esempi sono stati creati ad hoc per questo articolo e non fanno parte del database delle domande per il TECO-M 2021. Per brevità, gli esempi non comprendono le risposte tra cui scegliere ma vengono suggeriti alcuni quesiti possibili a cui ispirare le domande

Affiliazioni e autori

Fabrizio Consorti
Dip. Scienze Chirurgiche, Univ. Sapienza di Roma