Author Archives: Marco Krengli

Il Test sulle Competenze (TECO) dell’ANVUR: prima applicazione ai corsi di laurea magistrale in Medicina e Chirurgian 86, 2021 pp 3823-3825

Pubblicato il

Abstract

The effective collaboration between ANVUR and CPPCLMM & C made it possible to administer the disciplinary Skills Test (TECO) in the spring of 2021 to Italian students of the CLM in Medicine and Surgery.
The article shows the participation data for this first edition.

Introduzione

Nella settimana dal 19 al 23 aprile di quest’anno si è svolto per la prima volta il Test sulle Competenze (TECO) disciplinari per i CLM in Medicina e chirurgia, nell’ambito del progetto TECO della Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR). Il test si è svolto completamente per via telematica, in relazione alle restrizioni dovute alla pandemia COVID-19, con la collaborazione di CINECA e si è avvalso della esperienza maturata dai corsi di laurea in medicina italiani nei 13 anni di vita del progress test, organizzato dalla Conferenza permanente dei Presidenti di corso di laurea magistrale in Medicina e chirurgia (CPPCLMM&C), che negli anni ha visto coinvolta la quasi totalità dei corsi italiani (Tenore et al., 2015, 2017, 2018; Recchia et al., 2019; Recchia e Moncharmont, 2019).
Il progetto TECO è parte integrante del sistema Autovalutazione, Valutazione periodica, Accreditamento (AVA) e prevede sia la definizione che la somministrazione di test in grado di rilevare le competenze trasversali (TECO-T) e disciplinari (TECO-D) acquisite dagli studenti durante il corso di studi.
La prova TECO-T è realizzata da ANVUR con la collaborazione di gruppi di esperti costituiti principalmente da docenti universitari, mentre la definizione del TECO-D, che rileva le specifiche conoscenze competenze disciplinari, in coerenza con i primi due Descrittori di Dublino, è realizzata da gruppi disciplinari (denominati Gruppi di lavoro) costituiti in seno ad ANVUR.

Il Gruppo di Lavoro (GdL) TECO-D/Medicina (definito per brevità TECO-M) è stato Istituito con delibera no. 12/2021 del Consiglio Direttivo dell’ANVUR del 21 gennaio 2021 ed è costituito da Fabrizio Consorti, Giuseppe Familiari, Pietro Gallo, Marco Krengli, Bruno Moncharmont, Maria Luigia Randi, Maria Grazia Strepparava e Linda Vignozzi e rimarrà in carica fino al 31 luglio 2022. Fanno parte del gruppo anche le dottoresse Morena Sabella e Maria Rita Infurna di ANVUR, con funzioni di coordinamento.
Il GdL, insediatosi alla fine del mese di gennaio, ha svolto le prime attività previste dal mandato ricevuto, concernenti la definizione dei contenuti “core” declinati in obiettivi formativi finali e specifici, la definizione della prova TECO-De la gestione della somministrazione del TECO-D definito. Questa attività preparatoria è stata inoltre presentata e discussa nell’articolo di Fabrizio Consorti et al., pubblicato in questo stesso numero, che è stato inviato a tutti i partecipanti (tramite i presidenti di CL) nelle settimane precedenti la prova (Consorti, 2021).
Ulteriore compito del GdL sarà quello di gestire la restituzione dei risultati ai singoli CdS quando i dati saranno resi disponibili dal CINECA.

Articolo

IL Test

Il GdL ha predisposto 80 quesiti a scelta multipla con una sola risposta valida (+ 4 distrattori) con riferimento ai 77 problemi clinici essenziali (PCE) definiti dalla Conferenza (Consorti, 2021). Per ogni quesito è tracciato il riferimento ad un singolo PCE e ad eventuali richiami per discipline di base. Il senso di questi richiami è di valutare anche l’acquisizione delle conoscenze di base, di volta in volta necessarie alla soluzione dei quesiti clinici. I quesiti sono stati organizzati in un database che consentirà, per ciascun quesito, di conservare anche i dati docimologici.

Il test è stato somministrato, insieme al TECO-T, agli studenti del VI anno di corso dei CLM in Medicina e chirurgia nei giorni 19 e 20 aprile e del III anno di corso nei giorni 21 e 22 aprile; gli studenti hanno avuto a disposizione 50 minuti per rispondere a TECO-T e 120 minuti per risolvere i problemi clinici relativi al TECO-M. Per la prova è stata utilizzata una piattaforma informatica allestita dal CINE- CA. In ogni sede la prova è stata coordinata da un referente di sede con cui hanno collaborato i tutor di aula (in totale 296 tutor).

La partecipazione

Hanno aderito alla prova 41 CLM, tra cui anche 7 corsi in lingua inglese. Dei 73 corsi LM-41 attivati nell’aa 2020/21, 62 hanno attivo il III anno e solo 60 il VI anno. In tabella sono riportati i dati di adesione.


Per 34 CLM hanno partecipato gli studenti di entrambi gli anni, per 5 solo del terzo anno e per 2 solo del sesto anno. Inoltre, in via sperimentale, in tre CLM hanno partecipato gli studenti del quarto anno ed in uno anche quelli del quinto. Hanno partecipato in percentuale maggiore gli studenti del III anno [3166 studenti (45,27% del totale)] rispetto a quelli del VI [2498 studenti del VI anno (30,03% del totale)]. Molto variabile, comunque, è stata la percentuale di partecipazione degli studenti iscritti all’anno nelle diverse sedi, come si può rilevare dai grafici presentati in fig. 1.
Da una indagine contestuale alla richiesta di adesione alla prova è stato possibile rilevare che in 28 dei 41 CLM aderenti era concessa una forma di premialità agli studenti per la partecipazione al TECO. Per 20 di questi la premialità consisteva nella attribuzione di CFU nella carriera nell’ambito delle attività didattiche a scelta dello studente, mentre negli altri 8 consisteva in un bonus sul calcolo del voto della prova finale (voto di laurea). Dall’istogramma presentato in fig. 2 si può rilevare come la aspettativa di una premialità influisca positivamente sulla percentuale di partecipazione degli studenti alla prova.

Conclusioni

La lunga esperienza italiana sull’uso del “progress testing”, al pari delle numerose esperienze internazionali, conferma ulteriormente l’importanza di tale metodo di verifica longitudinale come efficace mezzo atto a censire le competenze degli Studenti di Medicina e Chirurgia (Schuwirth e Van Der Vleuten, 2012; Tenore et al., 2015, 2017, 2018; Recchia et al., 2019; Recchia e Moncharmont, 2019;Consorti, 2021).
Deve anche essere ricordato come l’uso e la sperimentazione di queste metodologie verticali di verifica delle competenze, tra cui il nuovo assetto del TECO-M, costituisca un importante mezzo atto a favorire l’innovazione delle metodologie didattiche utili a far emergere la pratica della “competency-based education” (Van Der Vleuten e Schuwirth, 2019).

Al momento non sono ancora disponibili risultati del test per avviare un’analisi di sistema, con il calcolo degli indici docimologi per ciascun quesito e per restituire alle sedi i risultati in relazione ai singoli PCE. Saranno questi i prossimi impegni del GdL che, sulla base di questa analisi, potrà valutare criticità e identificare aspetti migliorabili nella formulazione dei quesiti o nella organizzazione per le prove degli anni successivi.

Le modalità di svolgimento della prova si sono dimostrate perfettamente sostenibili da tutte le sedi coinvolte, confermando la validità dello strumento informatico messo a disposizione da CINECA.
Sarebbe auspicabile, in considerazione dell’effetto osservato del bonus sulla partecipazione, di aprire nell’ambito della CPPCLMM&C un confronto finalizzato ad individuare modalità condivise per erogare agli studenti una premialità per la partecipazione a questo tipo di verifica. Sarebbe comunque auspicabile prevedere per i prossimi anni un maggior coinvolgimento di tutte le sedi nella predisposizione dei quesiti, cosa che quest’anno non è stato possibile per i tempi non lunghi che si sono avuti a disposizione per consentire la somministrazione del test nel corrente anno accademico.



Figura 1 – Distribuzione in fasce percentuali degli studenti partecipanti.
Il numero intero è il numero di sedi nella fascia.

Figura 2 – Effetto della premialità per la partecipazione al test. Nell’istogramma sono riportate le medie della percentuale di partecipazione degli studenti al test nelle sedi senza premialità o nelle sedi con i due tipi di premialità (bonus o attribuzione di CFU).

Riassunto

La fattiva collaborazione tra ANVUR e CPPCLMM&C ha reso possibile la somministrazione nella primavera del 2021 del Test sulle Competenze (TECO) disciplinari agli studenti dei CLM in Medicina e chirurgia italiani.
Nell’articolo sono riportati i dati di partecipazione a questa prima edizione.

Bibliografia

Consorti F. Genesi e sviluppo del Test sulle Competenze
(TECO) dell’ANVUR: applicazione ai Corsi di Laurea in Medicina. Journal of Italian Medical Education 86, 2021.


Recchia L, Moncharmont B, Gallo P. Dal Progress Test al Training Test: una prima elaborazione dei dati. Journal of Italian
Medical Education 81: 3594-3600, 2019.


Recchia L, Moncharmont B. Dal Progress Test al Training
Test: analisi dei risultati finali 2018. Journal of Italian Medical Education 82: 3650-3654, 2019.


Schuwirt LWT, Van Der Vleuten CPM. The use of progress
testing. Perspectives in Medical Education 1: 24-30, 2012.


Tenore A, Basili S, Lenzi A. Il Progress Test dal Novembre
2006 al Novembre 2014. Journal of Italian Medical Education 68: 3089-3093, 2015.


Tenore A, Basili S, Lenzi A. Il Progress Test 2016. Journal of
Italian Medical Education 75: 3386-3390, 2017.

Tenore A, Basili S, Sansone A, Lenzi A. Il Progress Test 2017. Journal of Italian Medical Education 79: 3530-3533, 2018.


Van Der Vleuten CPM, Schuwirt LWT. Assessment in the context of problem-based learning. Advances in Health Sciences
Education 24: 903-914, 2019.

Affiliazioni e autori

Bruno Moncharmont, Fabrizio Consorti, Giuseppe Familiari, Stefania Basili
Università degli studi di Roma “La Sapienza”

Pietro Gallo, Marco Krengli
Università degli studi del Piemonte orientale

Maria Luigia Randi
Università degli studi di Padova

Maria Grazia Strepparava
Università degli studi di Milano-Bicocca

Linda Vignozzi
Università degli studi di Firenze

Morena Sabella, Maria Rita Infurna
Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca



MD-PhDn.72, 2016, pp. 3274-3275

Pubblicato il

Marco Krengli (Piemonte Orientale, Novara), Daniele Santini (Roma, Campus Biomedico), Francesco Curcio (Udine), Luciano Daliento (Padova), Antonio Moschetta (Bari), Raffaella Muraro (Chieti), Paolo Remondelli (Salerno).

Componenti esperti esterni alla Conferenza: Antonella Calogero (Roma, La Sapienza-Polo Pontino), Calogero Caruso (Palermo), Riccardo Zucchi (Pisa), Mauro Tognon (Ferrara), Massimiliano Corsi Romanelli (Milano, Statale).

 

Il percorso di dottorato di ricerca si colloca in Italia in una fase successiva alla laurea e spesso, in ambito medico, addirittura dopo la specializzazione e quindi dopo un precedente periodo di 10-11 anni di studi universitari. Questo fa sì che l’accesso sia limitato a pochissimi “scientists” che accettano di investire nello studio una buona parte della propria vita professionale, e probabilmente, quella potenzialmente più produttiva dal punto di vista scientifico. Questo si traduce in un numero esiguo di medici che si formano in attività di ricerca soprattutto traslazionale, che è quella che meglio può tradurre nella pratica clinica i risultati di sperimentazioni che nascono nei laboratori dedicati alla ricerca di base.

L’istituzione di un percorso integrato MD-PhD consentirebbe un accesso precoce al dottorato di ricerca in modo da raccogliere le vocazioni di coloro che durante gli studi di Medicina e Chirurgia potrebbero indirizzare la propria formazione alla ricerca, creando i presupposti per una futura attività da svolgere in ambito accademico o in istituti di ricerca.

Obiettivo del Gruppo di Lavoro è quindi quello di formulare una proposta di percorso MD-PhD, utile alla redazione di un documento della Conferenza e che fornisca indicazioni per la stesura di una normativa ministeriale. Dovranno quindi essere definite le principali caratteristiche del percorso MD-PhD in termini di accesso, svolgimento e integrazione nell’ambito del corso di laurea in Medicina e Chirurgia.

Per lo svolgimento della propria attività, il gruppo di lavoro della Conferenza ha stabilito di effettuare due survey preliminari volte a descrivere i percorsi di eccellenza esistenti nelle varie sedi universitarie a livello nazionale e a raccogliere le principali informazioni relative ai percorsi MD-PhD presenti nei principali Paesi Europei ed extra-Europei. I risultati di queste survey sono già stati descritti in precedenti reports. Sulla base di tali survey, presentate e discusse in varie riunioni della Conferenza, è a questo punto possibile formulare alcune considerazioni.

Nella stesura della proposta di percorso MD-PhD si dovrà tener conto dei seguenti aspetti principali:

1) tempo di accesso;

2) modalità e requisiti di accesso;

3) strutturazione del percorso con acquisizione simultanea o sequenziale dei titoli MD e PhD;

4) benefits da prevedere;

5) collaborazione fra più sedi universitarie.

Tempo di accesso

Nei programmi USA l’inizio dell’attività PhD è collocata al 3° anno anche se la scelta avviene di norma al 2° anno. Nei programmi Europei l’inizio varia dal 3° al 5° anno. A tale proposito l’accesso ai percorsi di eccellenza in Italia varia dal 2° al 4° anno. In generale un accesso dopo almeno una parte di corsi pre-clinici può aiutare a una scelta più consapevole da parte degli studenti, tuttavia un accesso tardivo oltre il 3° anno determina una concentrazione di attività dedicata al parcorso PhD che può risultare eccessiva anche in rapporto al concomitante carico di studio e di attività professionalizzante nelle discipline cliniche.

Modalità e requisiti di accesso

Una selezione è prevista in tutti i percorsi MD-PhD attivi ed è basata sulla valutazione del precedente curriculum e delle attitudini e aspirazioni dei candidati. Tali aspetti possono essere valutati sia con criteri basati sulla media dei voti e sui crediti acquisiti/esami superati, sia con un colloquio che, a seconda di come è strutturato, può essere orientativo o selettivo.

Strutturazione del percorso con acquisizione simultanea o sequenziale dei titoli MD e PhD

L’integrazione fra MD e PhD è in generale strutturata in modo differente in Nordamerica e in Europa.

In Nordamerica lo studente, superati i primi due anni, di solito preclinici, si dedica completamente alla attività di ricerca (PhD) per un periodo fino a 4 anni, proseguendo solo successivamente il percorso MD con la maggior parte delle attività cliniche per altri 2 anni. I due titoli MD e PhD possono quindi essere conseguiti simultaneamente al termine degli studi.

 

In Europa l’integrazione fra MD e PhD varia da sede a sede senza però una netta divisione fra periodi in cui viene svolta sola attività di ricerca e periodi di studio di materie precliniche e cliniche. I titoli di studio, inoltre, sono acquisiti in modo sequenziale, di solito MD dopo 6 anni e PhD dopo ulteriori 2-3 anni. Nei due modelli descritti vi sono vantaggi e svantaggi. Il principale vantaggio del modello Nordamericano è legato alla possibilità di dedicarsi completamente alle singole attività e in particolare quella di ricerca, mentre il principale vantaggio del modello Europeo può risiedere nella flessibilità di modulazione delle attività di studio, tirocinio e ricerca con la possibilità di conseguire il primo titolo di studio (MD) dopo 6 anni.

Benefits da prevedere

Tutti i percorsi MD-PhD prevedono dei benefits che hanno lo scopo di rendere più accessibile e interessante un percorso di studio e ricerca che ha una durata non inferiore a 8 anni. Generalmente consistono in borse di studio, esenzione dalle tasse e facilitazioni logistiche.

Collaborazione fra più sedi universitarie

In uno scenario in cui i programmi di scambio a livello internazionale e nazionale vengono sempre più incentivati sembra del tutto logico prevedere una collaborazione fra più sedi universitarie che consenta agli studenti di effettuare rotazioni per attività di studio e ricerca e ai docenti di condividere programmi didattici e di promuovere quelli che sono le peculiarità di ricerca delle singole sedi.

E’ da prevedere un programma di scambio anche a livello internazionale  con adesione a indicazioni e linee guida europee (ORPHEUS, ESF-ALLEA, ESF European Review Guide. Al fine di completare le informazioni utili alla stesura della proposta di percorso MD-PhD può essere opportuno prevedere anche contatti con la componente studentesca e in particolare con la “European MD/PhD Association (EMPA)” (http://www.eumdphd.com/empa-2/) che riunisce studenti inseriti nei percorsi MD/PhD.

Stato dell’arte dei Gruppi di lavoron.70, 2016, pp. 3184

Pubblicato il

Gruppo di lavoro

MD – PhD

Il Gruppo comprende attualmente Marco Krengli (Piemonte Orientale, Novara), Daniele Santini (Campus Biomedico, Roma), Antonio Moschetta (Bari), Raffaella Muraro (Chieti), Francesco Curcio (Udine), Calogero Caruso (Palermo), Luciano Daliento (Padova), Paolo Remondelli (Salerno), Mauro Tognon (Ferrara), Antonella Calogero (Roma La Sapienza, Polo Pontino) e Riccardo Zucchi (Pisa). E’ stata recentemente acquisita la collaborazione di Massimiliano Corsi Romanelli delegato del rettore dell’Università Statale di Milano per il percorso MD-PhD.

 

L’obiettivo è quello di individuare le possibili caratteristiche del percorso MD-PhD in termini di accesso e svolgimento, nonché le modalità di integrazione di tale percorso nell’ambito del corso di laurea in Medicina e Chirurgia, al fine di formulare una proposta utile alla redazione di un documento della Conferenza che fornisca indicazioni per la stesura di una normativa ministeriale.

L’attività prosegue come previsto con la raccolta di informazioni su percorsi simili in ambito internazionale al fine di giungere alla formulazione di una proposta finale.

È stata preparata una scheda di raccolta dati e i componenti del gruppo hanno iniziato a raccogliere informazioni sulla base di contatti nei vari Paesi Europei ed extra-Europei. La scheda prevede di indagare il piano di studi in termini di ore di impegno nelle diverse attività didattiche (lezioni, tirocinio, laboratorio) e loro distribuzione negli anni di corso, tipi di ricerca svolta, criteri di ammissione e di permanenza nel percorso, modalità di accesso, nonchè modalità di assegnazione di borse di studio ed eventuali altri benefits per gli studenti inseriti nel percorso.

Sono stati finora raccolti dati, che sono in fase di elaborazione, dalle seguenti sedi:

Phillips University, Marburg, Germany; Ruprecht-Karls University of Heidelberg, Germany; University of Zurich, Switzerland; University of Tours, France; Virgina Commonwealth University, USA; Yale University, USA; Johns Hopkins University, USA.

Sono in corso contati con altre sedi fra cui le Università di Belfast, Tubingen, Leiden, Cordova e Danzica.

Da una prima analisi delle informazioni raccolte dalle sedi contattate e da dati di letteratura risulta che i percorsi hanno alcune caratteristiche simili in Europa e in Nordamerica. Negli USA vi sono 120 programmi (Alamri Y, Clinical Medicine, 2016, 16:215-8), 45 dei quali finanziati da NIH. In Canada il supporto del Canadian Institutes of Health Reserach verrà meno a partire proprio dal 2016, tuttavia alcune Università proseguiranno a offrire percorsi Md/PhD. La maggior parte di questi percorsi ha una durata di 8 anni che consentono di ottenere sia la laurea sia il titolo di dottorato. In Europa il programma MD/PhD è nato in UK all’Università di Cambridge e poi si è esteso ad altre istituzioni accademiche nel Regno Unito e in altri Paesi fra cui Svezia, Svizzera, Germania, Francia. Analogamente, in Asia, Giappone e Singapore hanno simili programmi e Australia, Nuova Zelanda e, più recentemente, Sudafrica hanno pure adottato analoghi percorsi.

Per meglio definire lo scenario Europeo sono previsti contatti anche con la “European MD/PhD Association (EMPA)” (http://www.eumdphd.com/empa-2/), che riunisce studenti inseriti nei percorsi MD/PhD.

Si prevede di completare la survey in modo da presentare un report preliminare alla riunione di Roma il 4 luglio e completo alla riunione di Messina il 16-17 settembre 2016.

(Marco Krengli)

 

Studio comparativo fra risultati degli immatricolati “regolari” e “ricorrenti”

Abbiamo terminato l’analisi dei dati forniti dai Corsi di Laurea in Medicina e Chirurgia di Milano Statale, Milano Bicocca, Modena e Reggio Emilia, Molise, Novara, Pavia, Roma (La Sapienza) e Torino (Orbassano e Molinette) che hanno permesso di valutare l’eventuale relazione tra voto di maturità e punteggio al test di ingresso, tra punteggio al test di ingresso e score di rendimento (punteggio che tiene conto del numero di esami superati e del voto conseguito, pesato per il numero di CFU attribuiti al corrispondente insegnamento), tra score di rendimento e alcune delle variabili incluse nello studio.  Come già ricordato in occasione dell’incontro di Siena (ed inviato, come richiesto, il 22 febbraio scorso), i risultati preliminari hanno evidenziato una differenza, più o meno rilevante a seconda della sede, tra il rendimento ottenuto dagli studenti immatricolati regolarmente e quello degli immatricolati in sovrannumero: con risultati migliori per i primi.

Per fornire la sintesi definitiva è necessario che i Presidenti dei CdL coinvolti commentino i risultati che saranno loro inviati la prossima settimana.

Il lavoro potrebbe proseguire valutando i risultati al termine del primo triennio (AA: 2016/17); a tal fine sarebbe estremamente utile poter includendo CdL del Centro-Sud Italia dove maggiore è stato il numero di studenti immatricolati in sovrannumero.

(Anna Bossi)

 

Progress Test- Progetti futuri

Il gruppo di lavoro comprende: Salvatore Bozzaro (Torino – Polo San Luigi Gonzaga di Orbassano), Agostino Palmeri (Catania), Giulia Morace (Milano  -Polo San Paolo), Maria Penco (L’Aquila),  Antonio Lanzone (Roma – Cattolica), Manuela Merli (Roma – SAPIENZA-CLMB), Stefania Basili (ROMA-CLMD), Felice Sperandeo (SISM), Alfred Tenore (past-president – Udine – Chair, Department of Medical Education, University of Science and Medicine Colton, California, USA).

In occasione della riunione della Conferenza tenutasi a Siena sono stati mostrati i dati finali dell’ultimo PT. In seguito ad ogni Presidnte è stata inviata una richiesta di creazione di domande di tipo nozionistico e a vignetta clinica da selezionare per il PT 2016.  Ogni Presidente dovrà inviare il form al corpo docente del CLM e la collezione di domande dovrà essere inviata alla Commissione validatrice entro il mese di Luglio. Attualmente abbiamo ricevuto solo 150 domande.

Il prossimo Progress Test si terrà il 16 Novembre 2016.

(Alfred Tenore, Stefania Basili)