The assessment of clinical competency in undergraduate students is a complex task, which is preferably achieved by assessing a mix of components of the whole construct of competency. The latter in fact can only be assessed through the direct observation of physicians on the job.
If we frame the process of evaluation with the Kirkpatrick model, we can consider testing of self-efficacy of students as level 1 of the model, the ability of clinical problem solving in written of simulated clinical scenarios as levels 2 and 3 (immediate learning and persistence). A level 4 evaluation could only be achieved through on the job observation or through outcomes indicators at the level of population or career development. In this framework, key features problems, OSCE, mini-CEX and multi-source feedback are the most suitable methods of assessment.
During the workshop, these principles were embedded in four exercises of educational design, in which participants – divided in 4 small groups – identified two competencies relevant for different terms of the Italian medical curriculum and drafted examples of appropriate methods of assessment for those competencies.
Introduzione: come valutare le competenze
Fabrizio Consorti (SIPeM e Roma Sapienza “C”)
A conclusione del percorso intrapreso durante tutto il 2014, nel quale abbiamo approfondito il concetto di competenza professionale e abbiamo riflettuto su come si potesse applicare in maniera realistica nei nostri corsi di laurea, in questo articolo introduttivo all’inserto speciale sull’atelier tenuto ad Alghero mi propongo di discutere come si possano valutare le competenze.
Ricordiamo che per competenza clinica intendiamo “l’abitudine all’uso giudizioso di conoscenze, ragionamento clinico, abilità tecniche, capacità comunicative, emozioni e valori da ripensare continuamente nella pratica quotidiana per il beneficio dell’individuo e della comunità di cui ci si occupa”, secondo la traduzione fatta nel Manifesto della SIPeM di una classica definizione di letteratura1. In questa definizione dobbiamo sottolineare come la competenza risieda soprattutto nella capacità di “usare”, in maniera fondata su giudizio critico, una serie di contenuti (conoscenze, abilità, …) per risolvere problemi professionali specifici. In questo senso la competenza non è direttamente valutabile negli studenti, che per definizione non possono essere assoggettati alla risoluzione reale di veri problemi clinici, altrimenti sarebbero già medici abilitati. Come vedremo più avanti, il costrutto di competenza clinica può essere osservato solo in un medico che lavora realmente e anche così è difficile coglierlo nella sua interezza ai fini valutativi. Questa obiezione introduce un concetto fondamentale: non esiste un modello assoluto di valutazione di efficacia di un intervento formativo, ma ogni valutazione è valida all’interno di un sistema di regole, limiti e condizioni. Se nell’ambito generale della valutazione ci si volge poi alla misura dell’effetto, si aggiunge anche l’imperfezione intrinseca di qualsiasi strumento di misura, ma questo ultimo aspetto non verrà considerato in questo articolo.
Uno dei modelli di valutazione di efficacia degli effetti di un intervento formativo più diffusi nella letteratura internazionale – e non solo di medical education – è stato proposto da Donald Kirkpatrick2.
Il modello di Kirkpatrick prevede 4 livelli di valutazione:
1 – valutazione della reazione che i discenti hanno avuto al corso: lo strumento tipico di misura per questo livello è il questionario di gradimento. Non c’è necessariamente una correlazione fra il gradimento percepito ed espresso e il fatto che i discenti abbiano appreso, ma il gradimento viene comunque considerato un elemento positivo di apprendimento;
2 – valutazione dell’apprendimento in senso stretto: viene eseguita con tutto l’armamentario di metodi strutturati per la misura delle conoscenze teoriche, delle abilità pratiche e degli atteggiamenti (quiz e altri test scritti, prove pratiche e questionari);
3 – valutazione del trasferimento: in questo livello si valuta la persistenza a distanza di tempo di quanto appreso, cioè quanto il processo di formazione abbia prodotto costrutti che si sono stabilmente trasferiti nel comportamento e negli atteggiamenti del discente. Si tratta in sostanza di ripetere le stesse valutazioni del livello precedente a distanza di tempo;
4 – valutazione di impatto: soprattutto nella logica di una formazione professionale o aziendale, questo livello valuta gli eventuali cambiamenti intervenuti nelle prassi o nei risultati produttivi a seguito dell’intervento di formazione.
Se applichiamo questi livelli ad una valutazione orientata alle competenze, possiamo esprimerli nel modo seguente:
1 – valutazione della reazione: in questo caso più che la reazione di gradimento del corso ci interessa la reazione in termini di percezione di competenza conseguita. Ciò viene espresso come auto-valutazione della sicurezza con cui si affrontano certi compiti professionali. Il termine usato in letteratura internazionale è self-efficacy e in [3] è mostrato un esempio;
2 – valutazione dell’apprendimento: in questo caso sarà necessario usare strumenti di valutazione della “capacità di usare”, applicabili specificamente alle conoscenze (come ad esempio la soluzione di problemi diagnostici o terapeutici), alle abilità e agli atteggiamenti (attraverso simulazioni di atti o l’osservazione in contesti reali o realistici): simulazione/osservazione in contesti reali o realistici);
3 – valutazione del trasferimento: in questo livello si valuterà la persistenza a distanza ripetendo le stesse valutazioni del livello precedente a distanza di tempo o osservando il comportamento nel periodo successivo alla formazione;
4 – valutazione di impatto: a questo livello la misura è molto più difficile, anche se sarebbe la valutazione decisiva per giudicare dell’efficacia di un intervento formativo. Si tratta infatti di dimostrare un impatto sulla salute e/o sui costi e/o sulla qualità del lavoro.
Esamineremo ora nei dettagli alcuni metodi congruenti a fornire misure per aspetti correlati con la competenza, ai livelli due e tre del modello di Kirkpatrick.
a. valutazione dell’uso delle conoscenze
Sono coerenti con questo scopo le domande a scelta multipla in cui si chiede di decidere di fronte ad una condizione clinica, come nei seguenti esempi di schemi di domande.
Un (descrizione del paziente) ha (dati anamnestici) e sta assumendo (farmaci). Quale dei suoi farmaci è la causa più probabile di (rilievo anamnestico, dato dell’es. obiettivo o di laboratorio)?
Un (descrizione del paziente) ha (rilievi anormali). Quali ulteriori dati clinici aiuterebbero a discriminare fra la (diagnosi1) e la (diagnosi 2)?
Una lista completa di formati idonei per domande a scelta multipla ad impostazione clinica può essere trovata in4.
I “test delle caratteristiche principali” (key feature problem – KFP) sono tipi di test a domande basati su casi clinici, in cui a sezioni narrative si alternano le sezioni con le domande. Le sezioni narrative espongono i dati del problema (anamnesi, esame obiettivo, risultati di esami diagnostici, terapie e loro esiti), mentre le sezioni con le domande esplorano la conoscenza che il discente ha delle azioni o scelte fondamentali da fare nella circostanza illustrata, come snodi critici del processo decisionale. A differenza delle domande a scelta multipla, i KFPs possono ammettere più di una risposta corretta per gruppo di domande e anche risposte aperte brevi5.
Da ultimo, anche stazioni di Objective Structured Clinical Examination (OSCE)6 in cui si richieda l’interpretazione di referti o di risultati di esami sono adatte alla valutazione di competenza, come nei seguenti esempi:
– osserva questo tracciato ECG di un <descrizione del paziente>, descrivine il ritmo, la frequenza, l’orientamento dell’asse, onde e intervalli e suggerisci una diagnosi elettrocardiografica
– un <descrizione del paziente> ha questa batteria di esami di laboratorio: suggerisci una possibile condizione patologica correlata.
– orienta e osserva questa radiografia standard AP del torace di un <descrizione del paziente>, descrivi l’alterazione morfologica presente e suggerisci una possibile condizione patologica.
b. valutazione dell’uso delle abilità pratiche e degli atteggiamenti
Sono coerenti con questo scopo stazioni di OSCE basate sull’interazione con manichini avanzati o pazienti simulati, come ad es.:
– BLS-D o ALS in scenari clinici di emergenza medica
– manovre (misura della pressione, prelievo venoso) nel contesto di visita ambulatoriale
– raccolta dell’anamnesi anamnesi, spiegazioni o prescrizioni a un paziente simulato
In queste situazioni può essere valutata la capacità tecnica (manovre di rianimazione cardio-polmonare), ma contestualmente anche la capacità di comunicazione e di lavoro in team. In effetti sono prove realistiche, in cui più ci si avvicina a quelle situazioni reali che sarebbero l’unico vero banco di misura della competenza clinica.
Va in questo senso la tecnica di valutazione denominata mini-CEX7, in cui un incontro con un paziente vero viene valutato da un osservatore. Se al feed-back dell’osservatore-valutatore si aggiungono anche quelli del paziente, di altri discenti presenti alla performance e magari di altri componenti del personale di cura, si parla allora di Multi-Source Feed-back (MSF)8. Quest’ultimo metodo può essere considerato utile nelle situazioni di tirocinio abilitante. Le figure 1 e 2 mostrano esempi di schede di valutazione per il mini-CEX e per il MSF.
Rimane un ultimo punto da discutere, che ci rimanda all’argomento della congruità, fondamentale quando si parla di valutazione. Innanzi tutto, come già detto, i metodi di valutazione devono essere congruenti col tipo di costrutto che si vuol valutare e misurare. Inoltre, affinché sia possibile valutare in maniera valida gli elementi della competenza clinica, è indispensabile che gli studenti abbiano seguito un percorso di insegnamento/apprendimento orientato alla risoluzione di problemi e con ampio ricorso alle simulazioni. Non si vuol certo negare l’importanza della didattica frontale, specie per l’insegnamento dei fondamenti, ma le conoscenze teoriche e nosografiche costituiscono solo il materiale con cui viene poi costruita la competenza. Questo processo di costruzione passa attraverso l’impegno attivo degli studenti, cimentati con compiti di difficoltà crescente, nella soluzione di problemi clinici su carta o con pazienti virtuali in ambiente elettronico9,10 e con simulazioni sia basate su manichini che su pazienti simulati11. Da ultimo, la valutazione delle ancora acerbe competenze di gestione relazionale e clinica dei pazienti potrà essere valutato “on the job” solo consentendo un periodo congruo di pratica clinica, con compiti di crescente autonomia, pur nei limiti di ciò che uno studente può fare in ossequio alla legge. E’ questa l’ultima sfida in vista di un esame laurea abilitante, insieme alla formazione di tutor efficaci sia come sostegno formativo che come valutatori.
Laboratorio No. 1
Tema: Quali competenze nel I biennio di Medicina, e come si valutano
Esperto: Giuseppe Familiari (Roma Sapienza “S. Andrea”)
Moderatore: Maurizia Valli
Partecipanti: Vittorio Locatelli, Maria Filomena Caiaffa, Tiziana Bellini, Mauro Tognon, Francesco Balata.
Mandato per i Laboratori: I partecipanti di ciascun laboratorio definiscano il contenuto delle competenze trattate nel loro laboratorio in termini di conoscenze, abilità e atteggiamenti. Propongano come valutare le competenze nel loro complesso
Dall’Elenco delle competenze TUNING:
1. Comunicare con i pazienti;
2. Definire e portare a compimento un’appropriata ricerca sulla letteratura.
Perché queste due competenze nel primo biennio
La realtà della formazione in Medicina e Chirurgia in Italia ha visto applicare un approccio, in molti Corsi di Laurea tra cui Sapienza Università di Roma, un profilo di tipo biomedico-psico sociale, che prevede anche l’early clinical contact nei primi due anni di corso; in questo ambito la competenza del comunicare con i pazienti, pur se squisitamente di tipo verticale, assume una importanza di tipo strategico anche nel primo biennio del corso di laurea (Familiari, 2000; Familiari et al., 2001, 2006, 2013; Torsoli et al., 2000; Snelgrove et al., 2009).
Inoltre, nei primi due anni di corso, le discipline di base sono generalmente apprese attraverso il progresso della ricerca scientifica e, in diversi Corsi di Laurea, sono presenti diverse esperienze che possono identificare l’acquisizione di una competenza importante quale quella del definire e portare a compimento un’appropriata ricerca sulla letteratura (Relucenti et al., 2014).
Non deve essere infine dimenticata l’importanza della dimensione internazionale della nostra formazione del medico, e l’importanza che, in questo ambito, possano avere linee guida accreditate a livello internazionale (Familiari, 2013; Familiari et al., 2013; Familiari e Consorti, 2013; Consorti, 2014)
Comunicare con i pazienti
Nell’elenco delle competenze TUNING, quella denominata “comunicare con i pazienti” è la prima del secondo livello in un quadro molto complesso che prevede, come competenza generale di primo livello, quella in cui i: “Graduates in medicine will have the ability to communicate effectively in a medical context”.
Le competenze correlate di secondo livello sono rappresentate da un elenco analitico che richiede un percorso verticale nell’intero corso di medicina per l’acquisizione completa (tabella 1).
Tabella 1
Su questo argomento, vi è stata una prima consultazione per capire se questo tema, così specialistico in apparenza, fosse adatto in un primo biennio affollato di materie di base, il cui ruolo, almeno per alcune come chimica e fisica non é spesso compreso dagli studenti nella loro importanza per la costruzione delle basi metodologiche del ragionamento scientifico. Il risultato del primo giro di consultazione é stato che bisogna far comprendere che le scienze di base sono fondamentali per la formazione medica e che quindi devono essere strettamente insegnate in modo finalizzato alla formazione clinica. Una prima conclusione di tipo generale è quella che, già dal primo anno di corso, un insegnamento finalizzato con la presentazione di aspetti clinici potrebbe contribuire all’acquisizione di un linguaggio corretto da parte degli studenti; acquisizione precoce che è stata ritenuta indispensabile come base per una buona comunicazione interpersonale.
Sempre dalla discussione del gruppo di lavoro è emerso come, in molti Corsi di Laurea in Medicina e Chirurgia italiani, ci siano, nei primi anni di corso, corsi integrati di Metodologia Medico Scientifica e/o di Scienze Umane, dove si inizia a affrontare la tematica del rapporto medico paziente; questo tipo di organizzazione di tipo verticale, ancora non applicato sistematicamente nella realtà italiana, sembra essere molto importante per indirizzare precocemente gli studenti su questa competenza in modo corretto.
Il gruppo di lavoro ha giudicato questa competenza sia di tipo trasversale che di tipo verticale, in grado di costruirsi validamente nei sei anni di corso e con il contributo di tutti i corsi integrati già dal primo anno.
Non deve essere sottovalutata, soprattutto per quei corsi di laurea ancora con organizzazione di tipo tradizionale, l’importanza del rapporto interpersonale tra docente e studente, nei corsi delle scienze di base. Da un corretto rapporto tra studente e docente, che non sia di tipo autoritario ma, al contrario sia improntato alla cordialità e alla collaborazione, può trovarsi la radice di quelle che saranno poi le abilità comunicative che lo studente riuscirà ad acquisire lungo l’intero percorso formativo. Anche l’esame orale potrebbe rappresentare un’altra possibilità di imparare la comunicazione: lo studente impara ad usare un linguaggio appropriato e soprattutto chiaramente comprensibile.
La valutazione corretta di questa competenza deve comprendere i diversi metodi di valutazione idonei, quali l’OSCE, il mini-CEX, il feedback, l’uso del paziente standardizzato, l’osservazione diretta e il portfolio (Dornan et al., 2011). Naturalmente questi metodi di valutazione sono strutturati per diversi livelli valutativi e possono essere utilizzati nell’intero percorso formativo, con modalità di valutazione a complessità crescente. Debbono anche essere tenute in considerazione le possibilità organizzative del Corso in merito a disponibilità di docenti dedicati e alle risorse economiche da potervi destinare. Per gli studenti dei primi anni di corso è sembrato maggiormente utilizzabile il metodo dell’osservazione diretta e il portfolio come utile strumento di raccolta delle esperienze fatte dallo studente stesso.
Definire e portare a compimento un’appropriata ricerca sulla letteratura
Questa è una competenza di primo livello, così definita da TUNING: “Graduates in medicine will have the ability to apply scientific principles, method and knowledge to medical practice and research”. Per questa competenza non sono specificate competenze specifiche di secondo livello.
In questo caso, la discussione nel gruppo di lavoro é stata breve e con un accordo immediato. E’ facile comprendere come tutti i corsi del primo biennio si prestino a mostrare allo studente come si conduca una ricerca di letteratura, come si applichino principi scientifici e metodologie innovative. Sono stati discussi diversi casi esplicativi: a esempio, l’insegnamento della genetica medica non può prescindere da laboratori in cui si impari ad usare data base specifici quali PubMed e OMIM. E’ stata citata anche una esperienza di laboratorio, nel campo dell’anatomia micro strutturale, come metodo precoce per offrire agli studenti di Medicina e Chirurgia uno scenario reale di metodo di ricerca scientifica in argomenti comprensibili già dal primo anno di corso (Relucenti et al., 2014). La conclusione del gruppo di lavoro è stata quella che su questa competenza sia più semplice impostare un approccio pedagogico corretto, anche se vi deve essere comunque posta la giusta tensione organizzativa.
I mezzi di valutazione, in questo caso, possono essere compresi all’interno delle usuali prove d’esame orali e scritte dei corsi integrati del primo biennio. Anche per la valutazione di questa competenza, l’uso del portfolio sembra essere molto interessante per iniziare, insieme con lo studente, quel percorso virtuoso di pratica riflessiva, anche sul metodo della ricerca scientifica, che lo dovrà accompagnare per l’intero iter formativo.
Bibliografia
Consorti F. Formazione per competenze. Quadri di riferimento nazionali e internazionali. Med Chir 63: 2826-2829, 2014.
Dornan T, Mann K, Scherpbier A, Spencer J. Medical Education, Theory and Practice, pp. 1-345, Elsevier, 2011.
Familiari G. Profilo bio-psico-sociale a Roma, La Sapienza, II Facoltà. Med Chir 15: 557-561, 2000.
Familiari G, Falaschi P, Vecchione A. La nuova laurea specialistica in medicina e chirurgia e la formazione di un medico con una cultura biomedico-psico-sociale. Med Chir 16: 591-596, 2001.
Familiari G, Falaschi P, Ziparo V. L’Organizzazione didattica del corso di laurea magistrale in medicina e chirurgia, Roma “La Sapienza” II Facoltà. Med Chir 32: 1291-1293, 2006.
Familiari G, Violani C, Relucenti M, Heyn R, Della rocca C, De Biase L, Ziparo V, Gallo P, Consorti F, Lenzi A, Gaudio E, Frati L. International reality of medical education. MEDIC 21: 53-59, 2013.
Familiari G. The international dimensions of medical education. Med Chir 57: 2537-2538, 2013).
Familiari G, Consorti F. The best evidence medical education and the essential skills on medical teaching: important keys for medical educatioon internazionalization. Med Chir 59: 2662-2663. 2013.
Relucenti M, Battaglione E, Miglietta S, Petruzziello L, Familiari G. Early Electron-Microscopy laboratory attendance an efficacious way of introducing medical students to scientific research. In: Microscopy, Advances in Scientific Research and Education, A. Méndez-Vilas Ed., pp. 1145-1150, Formatex, 2014.
Snelgrove H, Familiari G, Gallo P, Gaudio G, Lenzi A, Ziparo V, Frati L. The challenge of reform: 10 years of curricular changes in Italian Medical Schools. Med Teach 31: 1047-1055, 2009.
Torsoli A, Cascino A, Familiari G, Gallo P, Gazzaniga P, Rinaldi C, Della Rocca C, Renda T, Serra P, Frati L. Un’ipotesi di curriculum integrato pre-laurea. MEDIC 20: 204-210, 2000.
Laboratorio No. 2
Tema: Quali competenze al III anno di Medicina, e come si valutano
Esperto: Carlo Della Rocca (Roma Sapienza “E”)
Ai lavori del Laboratorio hanno partecipato: Anna Bossi (Milano Polo Centrale), Calogero Caruso (Palermo), Bruno Moncharmant (Campobasso), Giulia Morace (Milano San Paolo), Raffaella Muraro (Chieti), Giovanni Murialdo (Genova), Sonia Nardulli (Sassari Sism), Riccardo Zucchi (Pisa)
Contenuti del Laboratorio
Inizialmente la discussione si è incentrata sul problema generale della valutazione e, nello specifico, si è sottolineato come la valutazione stessa sia strumento di valorizzazione dell’apprendimento oltre che volano per lo studio strutturato; in particolare si è sottolineto che le modalità stesse della valutazione determinano il tipo di apprendimento e che quindi una valutazione per competenze può aiutare in modo determinante la realizzazione di un apprendimento/insegnamento per competenze. Successivamente la discussione ha affrontato il problema degli strumenti di valutazione rilevando la necessità di stabilirne a livello operativo le modalità di costruzione di utilizzazione oltre che di interpretazione dei risultati della loro applicazione. Nel contestualizzare i concetti espressi è apparso necessario individuare le caratteristiche della condizione del III anno del corso di laurea magistrale in medicina e chirurgia.
Pur con le dovute differenze locali è apparso chiaro che al III anno:
– si conclude il triennio pre-clinico
– generalmente si concludono i corsi di metodologia clinica
– lo studente dovrebbe aver appreso/sviluppato competenze soprattutto di ordine metodologico e relazionale
– le valutazioni dell’apprendimento dovrebbero misurare la capacità dello studente di applicare – tali competenze nel senso di:
• saper usare le conoscenze acquisite nello studio delle materie di base
• saper usare le abilità metodologiche apprese nello studio delle metodologie di base e cliniche
• saper usare le abilità relazionali sviluppate tramite lo studio delle “humanities”.
In questo contesto sono stati individuati come strumenti di valutazione adeguati:
– una tipologia di esame scritto, con key feature problems per indagare la capacità di usare le conoscenze acquisite
– l’OSCE (objective structured clinical examination) per indagare la capacità di usare le abilità metodologiche
– l’OSVE (objective structured video examination) per indagare la capacità di usare le abilità relazionali
Si è infine passati all’esecuzione del mandato
L’elaborazione del mandato
Sono stati proposti due esempi di competenze:
Condurre un esame obiettivo
Fornire spiegazioni e consigli
Il Laboratorio ha scelto l’esempio “Fornire spiegazioni e consigli” e ha individuato il contesto di “interagire con un assistito che si è sottoposto a un test di screening e ha ricevuto un risultato di positività”.
Preliminarmente è stato individuato il core curriculum necessario per aver sviluppato tale competenza così come di seguito riportato:
– conoscenze epidemiologiche
– conoscenze etio-patogenetiche e fisiopatologiche
– conoscenze relative alla sensibilità e specificità dei test
– abilità “pratiche”
– saper interpretare il valore del test positivo
– abilità relazionali
– saper metter a proprio agio l’assistito
– entrare in empatia con l’assistito
– saper usare un linguaggio adeguato
– saper interagire con il team multiprofessionale
– contestualizzare il risultato del test all’interno del quadro anamnestico
– saper raccogliere l’anamnesi.
Quindi è stato impostato il seguente key feature problem:
Maschio di 35 anni, fumatore, normo-peso con familiarità per cardiopatia ischemica, effettua test di “piazza” nella giornata del diabete con risultato di glicemia = 190 mg/dl. Tu sei il suo medico di famiglia a cui l’assistito si rivolge, spaventato, per spiegazioni.
Come corollario al lavoro svolto è stato notato che una volta seguita la metodologia corretta, in particolare tramite l’individuazione preliminare del core curriculum necessario per formare la competenza indagata, è possibile costruire infiniti contesti anche per un’unica competenza e che lo stesso percorso per costruire un sistema di valutazione per competenze rappresenta un forte strumento “politico” per indurre ad insegnare e ad apprendere per competenza oltre che, inevitabilmente, condurre ad un reale approccio multidisciplinare anche nella formazione del core curriculum.
Laboratorio No. 3
Tema: Quali competenze al IV-V anno di Medicina, e come si valutano
Esperto: Rosa Valanzano (Firenze)
Contenuti del Laboratorio
L’attività formativa professionalizzante (AFP), conosciuta in genere come tirocinio pratico, rappresenta un’attività specifica ed obbligatoria, come prevista dal DM del 2001.
Non meno di 60 crediti sono destinati alle attività formative professionalizzanti (tirocini) che dovrebbero essere svolti a piccoli gruppi con l’esecuzione di attività pratiche, gestuali e relazionali sia al letto della persona malata, sia eventualmente, in un contesto di simulazione, tramite ad esempio l’impiego di manichini (anche tecnologicamente avanzati) ovviamente disponibili in base alle risorse strutturali ed economiche e del CLM .
Tale tirocinio è finalizzato a far acquisire la piena padronanza di tutte le necessarie competenze del futuro medico che includono: il percorso intellettivo, le abilità comunicative e quelle pratiche coordinate ed integrate.
Le caratteristiche qualificanti del medico che si intende formare comprendono dunque:
a) buona capacità al contatto umano (communication skills);
b) capacità di autoapprendimento e di autovalutazione (continuing education);
c) abilità ad analizzare e risolvere in piena autonomia i problemi connessi con la pratica medica insieme ad una buona pratica clinica basata sulle evidenze scientifiche (evidence based medicine);
d) abitudine all’aggiornamento costante delle conoscenze e delle abilità, ed il possesso delle basi metodologiche e culturali atte all’acquisizione autonoma ed alla valutazione critica delle nuove conoscenze ed abilità (continuing professional development);
e) buona pratica di lavoro interdisciplinare ed interprofessionale (interprofessional education);
f) conoscenza approfondita dei fondamenti metodologici necessari per un corretto approccio alla ricerca scientifica in campo medico, insieme all’autonomo
g) uso delle tecnologie informatiche.
L’elaborazione del mandato
Lo studente viene messo al centro del proprio percorso formativo, in una posizione attiva che lo porterà gradualmente a gestire le sue stesse attività di apprendimento:
– adeguata accoglienza della persona malata
– appropriata relazione con la persona malata.
Alcuni casi, inerenti procedure specialistiche (quali l’ inserzione di un catetere venoso centrale o l’esecuzione di una paracentesi) non possono essere necessariamente obbligatori, essendo pertinenti alla formazione specialistica, benchè lo studente sarebbe comunque agevolato nel suo successivo iter formativo.
Nell’esperienza del CLM di Firenze le attività professionalizzanti del V anno sono concentrate nel II semestre del V anno, durante il quale non sono previste lezioni frontali.
Sono dunque svolti i seguenti internati:
Medicina interna
Chirurgia generale
Terapia intensiva e subintensiva
Ginecologia ed Ostetricia
DEA (Dipartimento di emergenza-urgenza)
A causa dell’enorme numero di studenti (in media 250) è stato necessario stringere accordi con i dirigenti di struttura complessa (primari) di tutta l’Area Vasta , tramite accordi diretti del Presidente del CLM, senza alcuna retribuzione onerosa, ma attribuendo loro il titolo di tutor.
Attualmente il numero complessivo di docenti e tutors ammonta a 44 unità.
In caso di modifica di uno dei tutors (per quiescenza o trasferimento) il Presidente ricontatta direttamente il nuovo tutor.
Al fine di assicurare la qualità della rete formativa viene sottoposto agli studenti un test di gradimento che include il giudizio su gradimento e frequenza:
Gradimento: ottimo, buono, discreto, sufficiente, insufficiente
Frequenza, come sotto esemplificato.
Non è invece previsto nessun tirocinio nel VI anno al fine di consentire agli studenti di lavorare in maniera approfondita ma pacata per la compilazione della Tesi di Laurea
Laboratorio No. 4
Tema: Quali competenze alla fine dei sei anni di Medicina, e come si valutano
Esperto: Oliviero Riggio (Roma Sapienza “B” e “C”)
Contenuti del Laboratorio
Il laboratorio è partito dalla definizione di competenza medica come “the habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individuals and communities being served” fornita da RM Epstein (N Engl J Med 2007;356:387-96). La competenza medica quindi non può essere considerata una qualità acquisibile una volta per tutte ma piuttosto un habitus mentale all’apprendimento continuo, alla contestualizzazione e alla riflessione continua sulla propria esperienza professionale. Quindi non una condizione da apprendere durante la “Scuola di Medicina” ma acquisibile soprattutto attraverso le successive esperienze di studio e pratica professionale. Inoltre essendo la competenza una attitudine a svolgere efficacemente una attività finalizzata riconosciuta socialmente -nel nostro caso l’attività del medico- è anche evidente come gli studenti di medicina non possano acquisire, per definizione, la competenza medica durante i loro studi. Infine, considerando che la competenza comporta mobilizzare apprendimenti (conoscenze, procedure e logiche disciplinari) per risolvere problemi e per affrontare situazioni nuove e significative e che per realizzarsi comporta il saper agire (mobilizzare le proprie risorse in situazione) il voler agire (motivazione personale) e soprattutto il poter agire (nel contesto che consente e legittima la possibilità di assumere responsabilità e rischi) è evidente il concetto che lo studente di medicina può solo essere introdotto alla “competenza medica”.
Ciò premesso, è evidente che progettare l’attività didattica “per competenza” vuol dire 1) centrare la didattica sulle situazioni/compiti in forma di problemi complessi che lo studente deve imparare ad affrontare, 2) contestualizzare gli apprendimenti in relazione alle situazioni da affrontare e infine 3) valutare soprattutto le potenzialità d’impiego integrato e autonomo di quanto appreso. Questo rende molto diversa la didattica per la competenza dalla didattica per la conoscenza in cui la centratura è sui contenuti scientifico-disciplinari che lo studente deve fare propri, in genere, in forma decontestualizzata.
Nella pratica il professionista della salute parte da un problema, (un disturbo, un dato laboratoristico), che il paziente porta alla sua attenzione, analizza il problema mediante la raccolta mirata di dati (anamnesi, esame obiettivo e indagini diagnostiche) e, al raggiungimento della diagnosi (competenza diagnostica) prende decisioni e fornisce consigli terapeutici/gestionali (ripetere gli esami, a cadenza variabile, ecc.) (competenza diagnostico/gestionale) comunicando e condividendo decisioni e consigli col paziente (competenza comunicativa/relazionale). Il laboratorio ha quindi concordato che alla fine dei sei anni di medicina, dopo che le conoscenze, le logiche disciplinari e le abilità delle singole discipline mediche sono state acquisite nel corso degli anni precedenti, lo studente debba essere introdotto alla competenza medica sostanzialmente facendolo interagire in maniera necessariamente simulata e controllata ma con il massimo grado di verosimiglianza e di responsabilità personale (e naturalmente in ambiente protetto) con situazioni/problemi che possano essere emblematici di un certo contesto clinico (medicina, chirurgia, emergenza, ecc.) e/o sistematici cioè ritenuti talmente rilevanti da dover essere affrontati almeno una volta da tutti gli studenti del corso, indipendentemente dalla loro futura specializzazione.
L’elaborazione del mandato
I partecipanti di ciascun laboratorio definiscano il contenuto delle competenze trattate nel loro laboratorio in termini di conoscenze, abilità e atteggiamenti. Propongano come valutare le competenze nel loro complesso.
Il gruppo si è quindi chiesto come identificare “problemi core” e quale metodologia didattica fosse la più adatta a farli affrontare dagli studenti secondo le caratteristiche sopra riportate (verosimiglianza, responsabilità personale, e sistematicità). In questo senso ci si è trovati d’accordo nel sottolineare che, a tale scopo, la semplice frequenza di uno o più reparti (medicina, chirurgia, emergenze, ecc.) non può essere sufficiente a soddisfare il carattere di sistematicità dei problemi selezionati. La didattica in reparto è infatti contingente ai casi effettivamente presenti in quel momento ed è pertanto non adatta a soddisfare la possibilità che tutti gli studenti del corso affrontino almeno una volta tutti i “problemi core”. Alla frequenza in reparto, necessaria per avvertire la logica generale di una certa attività professionale, occorre affiancare metodi didattici specifici (lavoro a piccoli gruppi, discussione dei casi clinici, studio delle differenze, ecc.) che possano far realizzare la sistematicità dei problemi affrontati. Specialmente in ambito di emergenza la simulazione deve quindi affiancare il reparto e consentire l’apprendimento delle tecniche con il massimo della verosimiglianza ma anche della protezione dello studente in formazione.
Il gruppo di lavoro si è quindi dedicato a scegliere da un pool di problemi quelli “core” mediante l’utilizzo del PUIGER: una griglia di valutazione che permette di identificare le situazioni/problema sulla base della loro Prevalenza, Urgenza, possibilità di Intervento efficace, Gravità, Esemplarità pedagogica e Ripercussione sociale. Infine, a titolo di esempio, per uno specifico problema clinico come “la valutazione della gravità di una emorragia digestiva superiore”, il gruppo ha compilato una matrice per lo sviluppo di un modulo didattico comprendente l’ambito di competenza, la competenza attesa, il compito/i complesso/i che lo studente deve saper affrontare al termine del percorso, i prerequisiti in termini di conoscenze e abilità che lo studente deve aver acquisito in precedenza, gli apprendimenti/risorsa da sviluppare in funzione della competenza complessa e infine, la metodologia didattica e la metodologia di valutazione da impiegare in fase di apprendimento e di valutazione dell’apprendimento. Per quest’ultima fase i metodi di valutazione contestualizzati come il key feature problem è apparso particolarmente adatto.
Conclusioni
Pietro Gallo (Sapienza Università di Roma)
La discussione nei laboratori è partita da tre punti-cardine:
– la definizione di competenza professionale clinica come la capacità di utilizzare conoscenze, abilità e atteggiamenti in un contesto clinico reale o realistico;
– la consapevolezza che per poter valutare per competenze occorre aver prima insegnato per problemi;
– la conoscenza della cassetta degli attrezzi a disposizione per valutare l’acquisizione delle competenze professionali, in termini di quesiti a scelta multipla con problemi clinici, key feature problems, stazioni dell’Objective Structured Clinical Examination (OSCE), osservazione in tirocinio valutativo.
Dalla presentazione degli esperti e, ancor più, dai laboratori, sono emerse alcune conclusioni condivise:
– per insegnare e valutare per problemi occorre formare tanto i docenti (con iniziative di insegnare a insegnare non solo per le lezioni frontali ma anche per la didattica a piccoli gruppi, e per l’esecuzione di prove di valutazione obiettive, pertinenti e coerenti) che i tutor clinici (formazione alle attività didattiche professionalizzanti a piccoli gruppi, al tirocinio clinico, alla valutazione in contesto reale o realistico);
– occorre imparare a conoscere e a utilizzare nel migliore dei modi gli strumenti della valutazione. Dai laboratori emerge la necessità di analizzare le singole componenti delle competenze professionali e di utilizzare strumenti di insegnamento e di valutazione come i key features problems e la simulazione;
– la valutazione per competenze impone un core curriculum concordato in un contesto multi- e inter-disciplinare. Occorre decidere quali sono le core competences da insegnare e di cui è necessario valutare l’apprendimento;
– occorre creare un cultura dell’apprendimento attivo, insegnando agli studenti a venire “preparati alla lezione” che diventa un’occasione non tanto di apprendimento passivo quanto di verifica e completamento delle conoscenze;
– la formazione per competenze richiede contesti clinici meta-disciplinari come il tirocinio; infatti la valutazione per competenze mal si applica al contesto disciplinare (l’esame finale del corso) mentre si presta meglio o alla valutazione formativa (feedback, portfolio) o a forme meno parcellizzate di valutazione certificativa, come l’esame di semestre, l’OCE di biennio, o l’esame di laurea abilitante;
– molte competenze devono essere acquisite in modo longitudinale (secondo la spirale di Hardeni) definendo livelli definiti di acquisizione. Per una valutazione longitudinale sono utili strumenti di valutazione formativa come il portfolio e di valutazione certificativa come un progress test delle competenze.
In conclusione, intanto è opportuno notare che dal dibattito nei laboratori non sono emerse particolari criticità per cui i tempi sembrano maturi, anche nel corso di laurea in Medicina, per addivenire alla formazione e alla valutazione per competenze cliniche.
Dal dibattito è emerso uno specifico mandato per la Conferenza Permanente dei Presidenti di CCLM in Medicina, in termini di:
– contribuire alla definizione di ruolo, funzione e reclutamento dei tutor clinici;
– coordinare un lavoro di definizione delle competenze in uscita del laureato in Medicina e Chirurgia (il profilo del medico “normale” Italiano);
– contribuire alla definizione di una valutazione per competenze delle studente in Medicina, durante il corso degli studi e in sede di esame di laurea abilitante.
1. Epstein RM. Assessment in medical education. N Engl J Med 2007;356(4):387-396.
2. Kirkpatrick, D.L. (1998). Evaluating Training Programs: The Four Levels. San Francisco: Berrett-Koehler.
3. Woods JL, Pasold TL, Boateng BA, Hense DJ. Medical student self-efficacy, knowledge and communication in adolescent medicine. Int J Med Educ. 2014 20;5:165-172.
4. Constructing Written Test Questions For the Basic and Clinical Sciences. National Board of Medical Examiners. Philadelphia 2002. Scaricabile liberamente da http://www.nbme.org/publications/item-writing-manual.html
5. Page G, Bordage G, Allen T. Developing key-feature problems and examinations to assess clinical decision-making skills. Acad Med. 1995 Mar;70(3):194-201.
6. Khan KZ, Ramachandran S, Gaunt K, Pushkar P. The Objective Structured Clinical Examination (OSCE): AMEE Guide No. 81. Part I: an historical and theoretical perspective. Med Teach. 2013 Sep;35(9):e1437-46
7. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The mini-CEX: a method for assessing clinical skills. Ann Intern Med. 2003 Mar 18;138(6):476-81.
8. Saedon H, Salleh S, Balakrishnan A, Imray CH, Saedon M. The role of feedback in improving the effectiveness of workplace based assessments: a systematic review. BMC Med Educ. 2012 May 2;12:25.
9. Thistlethwaite JE, Davies D, Ekeocha S et al.. The effectiveness of case-based learning in health professional education. A BEME systematic review: BEME Guide No. 23. Med Teach. 2012;34(6):e421-44.
10. Consorti F, Mancuso R, Nocioni M, Piccolo A. Efficacy of Virtual Patients in Medical Education: A Meta-Analysis of Randomized Studies. Computers & Education, 2012; 59(3): 1001-1008
11. Motola I, Devine LA, Chung HS, Sullivan JE, Issenberg SB. Simulation in healthcare education: a best evidence practical guide. AMEE Guide No. 82. Med Teach. 2013; 35(10):e1511-30.
12. Harden RM, Stamper N: What is a spiral curriculm? Medical Teacher 21: 141-143, 1999.
Consorti F., Della Rocca C., Familiari G., Gallo P., Riggio O., Sperandeo F., Valanzano R., Verso una Laurea professionalizzante. Certificazione delle Competenze professionali, Medicina e Chirurgia, 65: 2931-2941, 2015. DOI: 10.4487/medchir2015-65-3
