Il Progress Test 2017n.79, 2018, pp. 3530-3533, DOI: 10.4487/medchir2018-79-5

Abstract

Il Progress Test (PT) è un metodo di valutazione lon-gitudinale delle conoscenze che è stato effettuato ogni anno dal 2006 in numerosi Corsi di Laurea italiani. Dalla prima somministrazione la percentuale di Corsi parte-cipanti è aumentata progressivamente – dal 50 al 94% circa – e il numero di studenti partecipanti è cresciuto da 3300 a oltre 32000. Il PT ha risposto alla necessità di valutare gli studenti in un contesto di Problem-Based Learning (PBL); ad oggi, il PT ha anche dimostrato la sua utilità come metodo di valutazione longitudinale e progressiva anche nei curricula “tradizionali”. Questo report riporta i risultati dell’ultimo PT (novembre 2017) cui hanno partecipato 32120 studenti.

Parole Chiave/ Key-Words: Progress Test, 2017

The Progress Test (PT) is a longitudinal knowledge evalua-tion method which has been performed every year since 2006 in most Italian medical schools. Since the PT was first administered, the percentage of schools involved in the PT has increased from 50% to approximately 94% and has seen the number of participating students increase from 3,300 to more than 32,000. The PT answered the need for student assessment in Problem-Based Learning (PBL); to the present date, the PT has proven useful as a longitudinal, progressive method of assessment and evaluation for traditional curri-cula as well.This report focuses on the results obtained from the last PT (november 2017) taken by 32,120 Italian medical students.

Articolo

Introduzione

Introdotto nel 2006 nelle Facoltà di Medicina italiane, il “Progress Test” (PT), rappresenta un metodo di valutazione longitudinale delle conoscenze che si distingue dalle “normali” prove di valutazione per due caratteristiche essenziali: (a) lo studente non può prepararsi per il PT, (b) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.

Per queste sue caratteristiche il PT appare come il test più idoneo a valutare l’apprendimento rispetto alla summa delle conoscenze richieste per un laureato ideale di un Corso di Laurea Magistrale in Medicina e Chirurgia.

Il PT è stato introdotto in un numero sempre crescente di Corsi di Laura in Medicina e Chirurgia grazie agli sforzi dell’associazione “Conferenza dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia” a partire dal 2006. Similmente a come è cresciuto il tasso di adesione, allo stesso modo il ruolo come metodo di valutazione “universale” è andato a definirsi in maniera più precisa, tanto da essere considerato come uno degli esempi dagli estensori del DM relativo al nuovo esame per la “laurea abilitante”.

Materiali, Metodi e Risultati

Il PT viene somministrato in tutti i Corsi contempor-neamente – solitamente in un mercoledì delle prime due settimane di novembre.

Le due parti del test – Scienze di Base e Scienze Cliniche – sono sostenute in tempi diversi: la prima parte dalle 9:00 alle 12:00 e la seconda dalle 14:00 alle 17:00. In totale, il PT consta di 300 domande (150 nell’area delle Scien-ze di Base e 150 nell’area delle Scienze Cliniche), con una media di circa 80 secondi per domanda. Le domande, tutte a scelta multipla, affrontano obiettivi didattici sia “nozionistici” che “di ragionamento”, analogamente ad altri test come quello della McMaster University in Canada. Per ogni domanda è prevista una sola risposta corretta; ad ogni risposta correttamente è assegnato un punto.

Le domande vengono cambiate ogni anno, e trasmesse ai Corsi di Laurea poco prima del PT di modo da limitare le possibilità di diffusione agli studenti. Il coordinamento centrale designa il personale coinvolto nelle varie sedi, al fine di garantire un regolare svolgimento della prova in tutte le sedi interessate.

Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione. A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà.

Il 15 novembre 2017 è stato condotto il dodicesimo PT che ha visto coinvolti 46 dei 49 corsi di Laurea Magistrale in Medicina e Chirurgia (CLMMC) degli Atenei italiani.

A questi, si aggiungono anche 2 dei 10 Corsi in lingua inglese sul territorio italiano.

Complessivamente hanno quindi partecipato al Progress test 2017, 48 Corsi di Laurea, per un totale di 32120 studenti. Nelle figure e tabelle che seguiranno verranno tuttavia riportati i dati su 31623 studenti appartenenti ai 46 CLMs che hanno inviato i risultati.

Il 72% dei CLMs ha somministrato il test ai 6 anni di corso. Il 13% a 5 anni, il 7% a 4 anni e l’8% a 3 o meno anni di corso.

Come riportato in Tabella 1, a confronto con il PT 2016, nel 2017 si è riscontrato un aumento significativo a carico del IV anno ed un analogo decremento a carico del III anno, verosimilmente come conseguenze dell’ele-vato numero di studenti subentrati per ricorso e afferenti al III anno nell’anno accademico precedente. Cambia-menti di minor entità sono stati inoltre osservati in tutti gli anni, con lievi incrementi fra il 2% e il 6% in tutti gli anni ad eccezione del primo anno, caratterizzato da una diminuzione di circa il 4% rispetto al PT 2016.

Nella Figura 1 è riportata la percentuale di parteci-panti rispetto al numero totale di inscritti negli 11 anni di somministrazione del PT. La linea tratteggiata in oriz-zontale rappresenta la partecipazione media tra il 2006 ed il 2017.

La partecipazione al PT è andata aumentando nel corso degli anni – certamente per una maggiore consa-pevolezza degli studenti, ma anche e soprattutto come premialità alla carriera dello studente. Rispetto al numero potenziale degli studenti iscritti ai diversi Corsi di Laurea, dal 2012 si è sempre registrata una partecipazione supe-riore al 50%, che nel 2016 e 2017 ha superato il 60%.

Tuttavia, come evidente in Figura 2, la partecipazio-ne è inversamente proporzionale all’avanzamento nella carriera degli studenti: la partecipazione è difatti massi-ma nei primi anni di corso e si riduce progressivamente negli anni.

L’analisi dei risultati globalmente ottenuti per le scien-ze di base e quelle cliniche ha mostrato un andamento paragonabile a quello della media nazionale mettendo insieme tutte le informazioni ottenute dal 2011 al 2017.

Analisi dei Risultati per anno di corso

Si riscontra per il I anno un lieve calo della performance in entrambe le aree (Scienze di Base, 22.4%; Scienze Cliniche, 17.5%). Per il II anno la percentuale delle risposte giuste per le Scienze di Base è lievemente ridotta (26.7%) rispetto al 2016 (29.4%), tenendosi in linea con quelle del 2015 (25%) e del 2014 (27.6%), mentre la percentuale per le scienze cliniche (19.7%) è paragonabile a quella degli anni precedenti (20.3 nel 2015 e 20.4 nel 2016). Nel III anno, si è osservato un calo di quasi 5% nelle scienze di base (dal 41% del 2016 al 36.4% del 2017), mentre il trend positivo per le scienze cliniche si è mantenuto (24.5%).

Dal IV anno al VI anno, a confronto con il 2016, per le scienze di base si è osservato un calo della percentuale delle risposte corrette (2017: 44.0%, 47.8% e 51.4% rispettivamente; 2016: 49.2%, 53.9%, 57.4%, rispettiva-mente). Tale andamento non è stato osservato invece per le scienze cliniche.

Analisi individuale delle aree disciplinari.

Scienze di Base

Come atteso l’area di “Morfologia e Biologia” presenta un aumento nei primi tre anni fino a superare il 50% al terzo anno; tuttavia la percentuale di risposte esatte è in aumento anche fino al sesto anno, suggerendo come gli studenti non solo non perdano memoria di quanto studiato, ma anzi riescano ad ampliare il loro bagaglio di conoscenze grazie allo studio di altre aree disciplinari.

Per il 2017, le aree di “Fisiologia” e “Biochimica e Biologia Molecolare” sembrano andare incontro un aumento progressivo nel primo triennio, per poi raggiungere e mantenere un “plateau” tra il quarto ed il sesto anno.

La percentuale di risposte corrette per l’area di “Microbiologia ed Immunologia” raggiunge un picco al terzo anno, a riprova del lavoro condotto al secondo anno – quando si insegnano materiale ricomprese in questa area disciplinare – e arriva ad un plateau negli ultimi due anni, come riprova della conservazione della conoscenza. Per la “Patologia e Fisiopatologia” la percentuale di risposte corrette aumenta progressivamente in tutti gli anni di corso, a indicazione di una sempre maggiore consapevolezza dei meccanismi fisiologici sottesi alle patologie. L’andamento dell’area disciplinare “Farmacologia” è stato un costante crescendo, con un aumento più marcato fra il quarto ed il quinto anno, compatibile con i tempi del relativo esame. Anche per le “Scienze del Comportamento” si è osservato questo anno un pro-gressivo incremento delle conoscenze che cresce anno per anno, sebbene con un andamento meno marcato.

Scienze cliniche

Per le aree di “Ostetricia e Ginecologia” e “Pediatria” è facilmente osservabile una progressione graduale che progressivamente sale fino a raggiungere una percentuale lievemente superiore al 50% al sesto anno di corso per ginecologia ed ostetricia e di poco superiore al 42% per pediatria. Questo dato appare in linea con i tempi della didattica, dal momento che gli insegnamenti relativi si trovano appunto al sesto anno; resta tuttavia degno di nota il “gap” fra i due insegnamenti.

Per la “Medicina Interna e Specialità Mediche”, la “Chirurgia Generale e Specialità Chirurgiche” e la “Sanità Pubblica” si assiste sicuramente ad un incremento delle conoscenze dopo i primi tre anni di corso.

La disciplina “Anatomia Patologica”, come facilmente immaginabile, presenta un drastico aumento nel secondo triennio, subito dopo o durante lo studio della materia: tuttavia, a confronto con i precedenti PT, la percentuale di risposte corrette si è notevolmente ridotta, raggiungendo il 41.6% e il 51% rispettivamente per il V e VI anno nel 2017 a fronte del 60.5% e 67.5% per gli stessi anni di corso nel 2016.

Le figure 3 e 4 riportano l’analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC. Numerosi Corsi di Laurea Magistrale in Medicina e Chirurgia si collocano nel range medio: questo risultato è la prova dell’impegno della Conferenza dei Presidenti, ma allo stesso tempo è un chiaro indizio del grado di affidabilità del PT nel valutare le conoscenze “globali” acquisite e mantenute dagli studenti nel corso del loro percorso di studi.

Schermata 2018-11-22 alle 12.33.43

Schermata 2018-11-22 alle 12.33.52

Schermata 2018-11-22 alle 12.34.05

Schermata 2018-11-22 alle 12.34.15Schermata 2018-11-22 alle 12.34.25

Bibliografia

Cita questo articolo

Tenore A., Basili S., Sansone A., Lenzi A., Il Progress Test 2017, Medicina e Chirurgia, 79, 3530-3533, 2018. DOI: 10.4487/medchir2018-79-5

Affiliazione autori

Alfred Tenore, Department of Medical Education California University of Science and Medicine San Bernardino, California, USA

Stefania Basili, Sapienza Università di Roma

Andrea Sansone, Sapienza Università di Roma

Andrea Lenzi, Sapienza Università di Roma

Il Progress Test 2016n.75, 2017, pp.3386-3390, DOI: 10.4487/medchir2017-75-2

Alfred Tenore,* Stefania Basili,** Andrea Lenzi**.

*Department of Medical Education California University of Science and Medicine San Bernardino,California, USA; **Sapienza- Università di Roma.

Abstract

Since 2006, the PT has been held annually. During these 11 years, the percentage of Italian medical schools that have participated has increased from 50% to approximately 96% and has seen the number of participating students increase from 3,300 to approximately 33,000.

Even though the PT was developed to respond to a new educational curriculum that introduced Problem Based Learning (PBL), it has been subsequently demonstrated that the application of a longitudinal, progressive method of assessment and evaluation is valid not only for PBL-based curricula, but also for those (still) using “traditional” curricula.

This report describes the Italian experience over the last 11 years and in particular, focuses on the results obtained from the last PT (november 2016) taken by 33,369 Italian medical students.

Parole Chiave/ Key-Words: Progress Test, 2016

Articolo

Introduzione

Il “Progress Test” (PT), rappresenta un metodo di valutazione longitudinale delle conoscenze con peculiarità particolari: (a) lo studente non può prepararsi per il PT, (b) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.

Il PT rappresenta quindi un metodo per valutare l’apprendimento dello studente rispetto al dominio totale delle conoscenze richieste per un laureato ideale di un Corso di Laurea Magistrale in Medicina e Chirurgia.

Dal 2006 l’associazione “Conferenza dei Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia” ha iniziato ad usare questo strumento costantemente con una sempre maggiore partecipazione del corpo Docente e degli studenti. Ad oggi il Progress Test rappresenta per i Corsi di Laurea Italiani un tassello importante della formazione e della valutazione e sempre più la Commissione Esame di Stato porta avanti l’idea di poterlo inserire nel nuovo progetto della “laurea abilitante”.

Materiali, Metodi e Risultati

Brevemente, si ricorda le modalità di somministrazione e la composizione del progress test.

Il test è sostenuto in due tempi: dalle 9:00 alle 12:00 la prima parte e dalle 14:00 alle 17:00 la seconda, mediamente con 80 secondi di tempo per rispondere a ciascuna domanda.

Il test viene somministrato in tutta Italia nello stesso giorno (in genere un mercoledì dei primi 15 giorni di novembre) in contemporanea, con un sistema di controllo attento che non permette a nessun Corso di Laurea di conoscere le risposte alle domande. Inoltre le domande vengono cambiate ogni anno e trasmesse ai Corsi di laurea con tempistiche strettissime per evitare ogni tipo di possibile diffusione agli studenti. Esiste un coordinamento centrale che mantiene la segretezza del tutto e che si occupa anche di istruire tutto il personale coinvolto nelle varie sedi.

Il test è composto da 300 domande del tipo a scelta multipla (“nozionistiche” o “di ragionamento”) come quello effettuato alla McMaster University in Canada.

Le domande sono divise per ambiti disciplinari: 150 nell’area delle Scienze di Base e 150 nell’Area Clinica.

Per il risultato del test sono valutate solo le risposte corrette alle quali è attribuito un punto.

Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione. A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà.

Il 16 novembre 2016 è stato condotto l’undicesimo PT che ha visto coinvolti 47 dei 49 corsi di Laurea Magistrale in Medicina e Chirurgia (CLMMC) degli Atenei italiani (2 Atenei non hanno potuto partecipare. Uno per problemi organizzativi e l’altro per la contemporaneità con l’apertura dell’Anno Accademico).

Inoltre, per la prima volta, anche 1 dei 9 Corsi in lingua inglese ha partecipato al PT.

In totale sono stati quini 48 CLMs a partecipare.

In totale, considerando i 48 Atenei, 33369 studenti hanno partecipato in Italia al Progress test 2016. Nelle figure e tabelle che seguiranno verranno tuttavia riportati i dati su 32176 studenti appartenenti ai 47 CLMs che hanno inviato i risultati.

Il 68% dei CLMs ha somministrato il test ai 6 anni di corso. Il 15% a 5 anni, l’11% a 4 anni e il 6% a 3 anni di corso.

Come riportato in Tabella 1, si è osservato un incremento significativo (in media +30%) della partecipazione in quasi tutti gli anni di corso ad eccezione del secondo anno (ricordiamo essere l’anno del grande numero di subentri per ricorso).

La partecipazione degli studenti al test somministrato il pomeriggio rispetto a quello somministrato la mattina è stata simile con uno scarto massimo del -1.9% al terzo anno (n=148).

Nella Figura 1 è riportata la percentuale di partecipanti rispetto al numero totale di inscritti negli 11 anni di somministrazione del PT. La linea tratteggiata in orizzontale rappresenta la media dei partecipanti tra il 2006 ed il 2015.

Negli ultimi anni l’importanza data al PT non solo come strumento di valutazione ma come premialità alla carriera dello studente ha portato la partecipazione media a circa il 50%. Nel 2016 la percentuale è arrivata a sfiorare il 60%.

Tuttavia, come evidente in Figura 2, dove è disegnata la distribuzione della percentuale di studenti che hanno sostenuto il PT rispetto al numero potenziale di studenti iscritti a quell’anno di corso questa alta percentuale è sostenuta dai primi 4 anni di corso mentre scende sotto il 50% negli ultimi anni.

L’analisi dei risultati globalmente ottenuti per le scienze di base e quelle cliniche ha mostrato come riportato nelle Figure 3 e 4 un andamento paragonabile a quello della media nazionale mettendo insieme tutte le informazioni ottenute dal 2011 al 2016. Infatti, la media nazionale dal 2011 al 2015 è stata di 38 con una deviazione standard del 12.4% per le scienze di base e quella del 2016 del 42.3±13.8%. Parimenti per le scienze cliniche la media nazionale ottenuta dal 2011 al 2015 è stata di 28.2±13.6% mentre quella del 2016 è stata 30.9±12.3%.

Analisi dei Risultati per anno di corso

Nelle figure 5 (scienze di base) e 6 (scienze cliniche) sono riportate le percentuali di risposte corrette per ciascun anno di corso e poste a confronto con le percentuali ottenute negli anni 2014 e 2015. Tali anni sono stati scelti per la ampissima numerosità di partecipanti che ha superato i 20000 studenti (2014: 22955; 2015: 26899; 2016: 32176).

Per il I anno c’è un lieve aumento della performance sia nelle scienze di base (23%) che per le scienze cliniche (17.7%). Per il II anno la percentuale delle risposte giuste per le Scienze di Base è molto alta (29.4%) rispetto a quelle del 2015 (25%) e del 2014 (27.6%) mentre la percentuale per le scienze cliniche è paragonabile a quella deli anni precedenti. Nel III anno, si è osservato un aumento delle risposte esatte sia nelle scienze di base (41%) sia nelle scienze cliniche (24.2%).

Dal IV anno al VI anno per le scienze di base si è osservato un aumento della percentuale delle risposte corrette (49.2%, 53.9%, 57.4%, rispettivamente). Tale andamento non è stato osservato invece per le scienze cliniche (Figura 6).

Analisi individuale delle aree disciplinari.

Scienze di Base (Figure 7-13) Come atteso “Morfologia e Biologia” (Figura 7) presentano un aumento nei primi tre anni fino a superare il 50% (quello appreso entro la fine del terzo anno); tuttavia la percentuale di risposte esatte è in aumento anche fino al sesto anno evidenziando come la conoscenza raggiunta non viene persa ma soltanto implementata dall’ulteriore conoscenza in altre aree disciplinari. Anche la “Fisiologia” presenta lo stesso andamento (Figura 8). La “Biochimica e Biologia Molecolare” sembrano avere un aumento progressivo nei primi tre – quattro anni e poi il raggiungimento ed il mantenimento di un plateau (Figura 9).

“Microbiologia ed Immunologia” (Figura 10) mostrano un picco al terzo anno che da ragione del buon lavoro condotto al secondo anno quando si insegnano materiale ricomprese in questa area disciplinare. Anche per questa area disciplinare esiste il fenomeno della conservazione della conoscenza e addirittura un incremento fino al 59% negli ultimi anni dove la conoscenza clinica richiama la conoscenza di base.

Per la “Patologia e Fisiopatologia” (Figura 11) sembra riprodursi lo stesso fenomeno della precedente area disciplinare. L’andamento dell’area disciplinare “Farmacologia” (Figura 12) è stato sicuramente migliore di quello degli scorsi anni raggiungendo e superando al quarto anno il 50%. Anche per le “Scienze del Comportamento” si è osservato questo anno un progressivo incremento delle conoscenze che cresce anno per anno (Figura 13).

Per le scienze di base, quindi, abbiamo nel 2016 una buona riproducibilità nella percentuale delle risposte giuste e quest’anno un notevole miglioramento per alcuni ambiti disciplinari.

Scienze cliniche (Figure 14-19) Analizzando i dati riportati nelle figure è possibile osservare come per la disciplina di “Ostetricia e Ginecologia” (Figura 14) vi sia una progressione graduale che progressivamente sale fino a raggiungere una percentuale superiore al 50% al sesto anno di corso. Per la disciplina “Pediatria” (Figura 15) si assiste ad un progressivo miglioramento della percentuale di risposte esatte anche se il massimo raggiunto è poco più del 40%; è tuttavia da sottolineare che tale disciplina viene insegnata nel semestre successivo a quello in cui viene somministrato il PT al sesto anno.

Per la “Medicina Interna e Specialità Mediche”, la “Chirurgia Generale e Specialità Chirurgiche” e la “Medicina Preventiva” si assiste sicuramente ad un incremento delle conoscenze dopo i primi tre anni di corso ma senza il raggiungimento di una percentuale attesa di risposte esatte (Figure 16, 17, 18) La disciplina “Anatomia Patologica”, sempre andata molto bene negli anni scorsi, quest’anno resta una delle poche che, nei vari anni raggiunge quasi il 60 % in media delle risposte esatte.

Le figure 20 e 21 riportano l’analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC.

Nel range medio c’è una buona percentuale di CLMs dimostrando che dopo 11 anni di lavoro l’associazione Conferenza Presidenti di Corso di Laurea Magistrale in Medicina e Chirurgia è riuscita a raggiungere una altissima numerosità di partecipanti ma anche ad utilizzare il PT come un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea e a modulare l’insegnamenti fino a raggiungere una buona omogeneità nei curricula italiani.

Si ringrazia Chiara Bresciani per il grande aiuto nell’editing del manoscritto.

Bibliografia

Cita questo articolo

Tenore A., Basili S., Lenzi A., Il Progress Test 2016, Medicina e Chirurgia, 75: 3386-3390, 2017. DOI: 10.4487/medchir2017-75-2

The Global Active-Learning Curriculum: a new approach to teaching medicine in the 21st Centuryn.74, 2017, pp.3346-3365, DOI: 10.4487/medchir2017-74-1.

Alfred Tenore 1 MD, Anvar Velji2 MD and Robert M. Suskind3 MD

  1. Professor of Pediatrics, Senior Associate Dean of Medical Education, Chair, Department of Medical Education;
  2. Professor of Medicine and Medical Education Associate Dean, Global Health;
  3. Professor of Pediatrics and Global Health Founding Dean V.P. of Medical Affairs.

California University of Science and Medicine, School of Medicine (CalMed-SoM)
217 E. Club Center Drive – San Bernardino, California, 92313 – USA.

Abstract

Traditionally, the discipline-based curriculum has been the mainstay of the educational effort offered by medical schools worldwide. However, the realization that there are numerous shortcomings with the use of this curriculum, has stimulated many schools, in the last 50 years, to experiment with various curricular reforms in an attempt to improve medical education. Despite these changes, there is still a general consensus among medical educators that many of the existing curricula have failed to meet the needs of physicians and will continue to fail the needs of doctors of the future.

Coming to grips with the need for change is often difficult and breaking with any tradition is usually painful. Nevertheless, California University of Science and Medicine (CalMed-SoM) has been established with the intent of being innovative in creating a socially account-able medical school whose students will be best prepared for the future global, multiculturally-dependent practice of medicine. CalMed-SoM has worked assiduously to design an innovative student-centered curriculum that includes an amalgam of established, successful pedagogy collated from the most advanced educational institutions around the world. This competency-based curriculum, designated as the Global Active-Learning Curriculum, incorporates carefully conceived approaches and methodologies to learning, guided by adult learning strategies. It is clinical-presentation driven and utilizes a Person-Centered Clinical Approach Learning Method which is a structured, guided inquiry technique that enhances a student’s ability to understand the clinical relevance of all the scientific-related aspects as well as the environmental and social determinants of a person’s clinical problem.

The curriculum promotes a team-based educational strategy that focuses on inter-professional collaboration with the ultimate aim of ensuring the scientific and professional growth of each member of the team.

The following discussion describes the various components of this four-year curriculum and the innovative approaches being used in its implementation.

Key Words: Innovative curriculum, Active learning, System-based, Clinical presentation, Integration

Articolo

 

I. Preface

This article describes an innovative medical curriculum which is being implemented at a new medical school in Colton, California, the California University of Science and Medicine, School of Medicine (CalMed-SoM). In order to better appreciate this curriculum, it is important to understand the characteristics of the medical education system in the United States as well as the structural organization of the new medical school.

Eligibility for admission into medical school in the United States occurs after having attended primary and secondary school for a combined total of 12 years, followed, in most cases, by the acquisition of a Bachelor’s degree, awarded by colleges and universities upon completion of a course of study lasting on an average of 4 years. Medical school admission requirements vary from school to school. Some schools require applicants to complete a certain number of premedical courses while in college (i.e. : (a) 1 year of biology, (b) 1 year of physics, (c) 1 year of English, and (d) 2 years of chemistry which includes organic chemistry), while others have moved to a competency-based admission. In addition to these requirements, students are also requested to complete the Medical College Admission Test (MCAT) and ultimately go through rigorous personal interviews. Admission is determined on the collective evaluation of all these requirements.

The majority of medical schools in the US have a four year program in which the first two years are usually related to basic science disciplines with the last two years being devoted to clinical disciplines.

The structural organization of CalMed-SoM is composed of one single Department of Medical Education which includes from 2 to 4 content experts from each of the basic science disciplines, as well as clinicians for the clinical skills component of the first two academic years. The number of full-time faculty for the first two, pre-clinical, years number 26 for the initial class of 60 students. There will be a progressive increase in full-time faculty to 28, plus 16 part time clinical faculty for the subsequent class of 90 and a further increase to 30 full-time faculty plus 22 part time clinical faculty, in the third year of operation, when the matriculating class size will reach its maximum number of 120 students/ year. The qualifications of the faculty for the first class of 60 students is presently composed of 47% MD/PhDs, 37% MDs, and 16% PhDs.

The faculty is trained for this new teaching approach by attending faculty-development sessions which com-prehensively cover (a) all of the pedagogically diverse methods employed at the school, and described in this manuscript, as well as (b) the appropriate assessment methods used to evaluate student performance.

II. Introduction

Traditionally, medical degree granting schools throughout the world have utilized a discipline-based curriculum in which students study each discipline as an isolated entity, for example, anatomy, biochemistry, physiology, etc. This approach has been severely criticized for some of the following reasons:

  1. It creates an illogical separation between the basic and clinical sciences that leads to difficulties in the appropriate application of acquired knowledge.
  2. The time students devote to acquiring knowledge is considered, to a great extent, to be wasted time since a proportionately significant amount of knowledge is subsequently forgotten or found to be irrelevant.
  3. The teaching of information that has no apparent relevance to the pre-conceived notion of what students think should be taught in a medical school can be uninspiring and demoralizing, key sentiments responsible for the progressive loss of motivation and enthusiasm.

The realization that there are numerous shortcomings with the use of this curriculum, has stimulated many schools, over the years, to experiment with various curricular reforms. Despite these changes, there is still a general consensus among medical educators that many of the existing curricula have failed to meet the needs of students and, if adequate changes do not come about, will continue to fail the needs of doctors in the future.1

Due to this recognition, the worldwide focus on re-forming and improving medical education continues to occur. Progressive medical schools are working hard to find the best ways to improve medical education so that graduating physicians are solidly prepared to cope with today’s challenges of not only curing but also ca-ring, in an increasingly diverse social environment. It is an awareness reinforced by the recent invitation from the Lancet Global Commission on Education of Health Professionals for the 21st Century1 to correct the major shortcomings of current medical education systems, which they describe as fragmented, outdated, pedagogically static, and not drawing on current educational re-sources. These factors have been blamed to contribute to our current “ill-equipped” graduates.

Just as good medical practice is dependent on good research, so is the improvement of medical education dependent on careful analysis of what works and what does not. While medical schools have experimented with various curricular reforms, there is evidence that the various approaches being used, whether they are based on “disciplines,” “systems,” “problems,” or “clinical presentations” do not have much effect on enhancing student performance2 or ultimate competence in medicine.3 Growing evidence seems to indicate that more important than the type of curriculum being used, is how the curriculum is being implemented.4

In consideration of this background information and the challenges being faced in today’s delivery of medical education, a new medical school is currently being established in Colton, California, with an innovative student-centered curriculum that is an amalgam of the best pedagogy from the most advanced educational institutions around the world. In addition, the curriculum has been refined to correct the major medical education shortcomings cited in the Lancet report.1

III. Overview of the CalMed-SoM Curriculum

The MD program at CalMed-SoM is a system-based, clinical presentation-driven curriculum in which the basic sciences and clinical disciplines have been fully integrated with the clinical presentations (CPs) of each system from the first day of class. Clinical presentations refer to the way each system responds to pathologies, by creating the specific reason (complaint) that a patient presents to a physician; for example, the clinical presentations of the gastro-intestinal system may include “vomiting,” “diarrhea,” “abdominal pain,” etc. The CPs in the curriculum provide the platform onto which basic science and clinical knowledge are both structured and integrated. They are supported by problem-solving pathways in the form of algorithmic diagrams, clinical reasoning guides, and related clinical cases which aid in the development of critical thinking and problem-solving skills. The clinical presentation-driven educational program stimulates students to analyze problems, locate and retrieve relevant reference materials from computer-based or library resources, generate hypotheses, and solve clinical problems, while simultaneously setting the foundations for lifelong studying and learning.

The curriculum focuses on a competency-based approach which incorporates diverse methodologies to learning and, draws upon and incorporates global medical knowledge realizing that the practice of today’s medicine has no geographical (ethnic, racial, cultural) boundaries. All the learning methodologies used in the curriculum are guided by adult learning strategies and “active integration.” Active integration refers to a tightly integrated educational system in which every learning domain (i.e. cognitive, psychomotor, affective) in the system, is interrelated to enhance the student’s experience of taking full advantage in the acquisition and critical utilization of the information derived from these learning domains. The aim of “active integration” is to help students to comprehensively address and solve patients’ problems of every possible dimension (i.e., medical, social, environmental) utilizing critical, abductive, deductive, and inductive reasoning. Further-more, all the educational activities which comprise the curriculum have been specifically designed to provide students with the necessary knowledge, skills, attitudes, and feedback to progressively prepare them to effectively perform professional activities without direct supervision (entrustable professional activities) in preparation for their chosen future professional aspirations.

Since the practice of today’s medicine is oriented to-wards a team approach, CalMed-SoM promotes a team-based educational strategy that fosters collaboration, respect, and reciprocal benefits from the views, opinions, and talents offered by members of the team, all aimed at contributing to their scientific and professional education and growth. Through team participation skills, students integrate relevant basic science knowledge being acquired and expound on additional needed knowledge. Through self-directed learning strategies, the students answer structured objectives using analytical and critical thinking skills which evince a complete understanding of the clinical relevance of all the scientific, environmental and social determinants of the clinical problem presented by a “person.”

This new curriculum model has been designated as the “Global Active-Learning Curriculum” which utilizes a Person-Centered Clinical Approach Learning Method (PC–CALMED). The Person-Centered Clinical Approach Learning Method, refers to a combined structured and guided inquiry technique that is applied by students to understand a disorder, problem, or clinical case with emphasis being the “individual” within her/his environment.

This early integration of the clinical and basic sciences creates an important foundation for understanding the fundamental scientific principles governing excellence in medical practice. Its relevance also reinforces, and keeps alive, the drive to become physicians that had initially motivated students to apply to medical school.

IV. Colleges

Another key component in CalMed-SoM’s curriculum is its team-based educational strategy, mirroring the current trend towards a team approach in the practice of medicine. As described above, the team-based educational approach fosters collaboration that is critical in enhancing both scientific and professional education as well as, ultimately, sustained professional and personal growth.5 The “teams” at CalMed are created within “colleges” which are defined, in traditional Latin, as a formal group of colleagues working collaboratively together, to reach particular goals from which each member can benefit.

At CalMed, each “college” is composed of ten students guided by two mentors, one from the basic science faculty, one from the clinical faculty. The ten students are then divided into two teams of five students each. Teams are composed of students with different learning styles, different approaches, different affects, and different learning characteristics, helping all students learn within the framework of diversity, allowing each team member to share knowledge from a different perspective, enhancing learning and personal growth.

One novel approach at CalMed is that each College is given a dedicated meeting room where all their college-based educational activities take place. One of the first tasks that the students of each team have is to choose a name for their College from the many scientists and artists who have contributed, throughout history, to the advancement of the arts and sciences. This, along with the introduction of an historical anecdote in every lecture (see “Classroom Discussion Sessions”) supports CalMed’s aim of ensuring that their graduates are not only scientifically astute, but also culturally competent physicians with a global world view.

V. Pre-Clinical Years

1. Naming of Courses

In its desire to break away from medical school traditions that have impeded optimal medical education, CalMed is also breaking away from the use of traditional course names that often reflect a lack of appreciation of the human body as a coordinated entity. CalMed’s courses use names that indicate a more profound appreciation of the influence of art on science and science on art, as well as the complex interrelationship of all bodily functions. Traditional medicine sees, for example, the gastrointestinal and cardiovascular systems as succinct, separate entities; CalMed understands that these systems, like all functioning parts of the human body are interrelated and interdependent. In other words, Cal-Med employs a holistic approach. Course names, listed in Table 1, reflect that appreciation.

2. Organization of Courses

Each system-based course has an appropriate course length to cover all of the necessary learning objectives.

Figures 1A and 1B depict the sequential distribution of the courses in the pre-clinical first and second years. In addition, the educational environment as well as the curriculum have been designed with the aim of enhancing successful academic progress. Rather than have courses considered as hurdles to overcome, CalMed has designed a curriculum that encourages learning and retention, helping to eliminate poor course performance and thus the need to remediate. To promote this objective, the organization of each course has been designed to stimulate the student to learn and keep up with the daily educational activities and, by placing a week at the end of each course, time is dedicated to a final re-view before taking the summative examination (Figure 2). This exam week gives students the opportunity to attend an instructor-led review of the entire course. During the review, instructors will go over the essentials for each discipline. The format used is determined by each instructor, and can vary from a “flash card” approach to more detailed but concise presentations. The second and third day of the week are set aside either for student review or, if necessary, to get individual help from the faculty. Exams that cover all the material taught in the course, including clinical skills and laboratory procedures, take place on Thursday and Friday.

3. Organization of Each Week’s Educational Con-tent

A typical week during the first and second year at CalMed is depicted in Figure 3. During this time, teaching is geared toward promoting “active learning,” that is, encouraging students to take an active role in the educational process rather than being passively taught. This is in sharp contrast to the traditional styles of teaching, where students are expected to sit for hours, listening, and theoretically, absorbing the information presented by the instructor, the so-called “sage on stage.” In active learning modalities, which CalMed utilizes, the instructor facilitates critical learning skills, rather than forcing students to listen passively to lectures, ergo “the guide on the side.” This approach has been shown to promote independent, critical, creative thinking, to increase student motivation, to improve performance, and to encourage effective collaboration. For these reasons, active learning strategies have been incorporated into every component of CalMed’s educational activities.

3.1. Classroom Discussion Sessions

Classroom discussion sessions are shown in Figure 3 by the boxes indicated by the letter “(A)” (i-RAT and t-RAT sessions) as well as the boxes indicated by the letter “(B)” (flipped classroom sessions). These sessions, as denoted in Figure 3, take place on Mondays, Wednesdays, and Thursdays. In preparation, students are asked to review voice-over PowerPoint lectures available on the intranet for at least fourteen days prior to their discussion in class. Topics and lecture titles are listed in each course syllabus. This is illustrated in Table 2, which is an excerpt from “The Scientific Foundations of Medicine” syllabus that covers the first week of the course.

a. “Lectures” (Voice-Over PowerPoint Lectures)

Each lecture has a maximum length of thirty-five minutes and its preparation by faculty is composed of the following four sections:

Section 1. The very first slide of the lecture instructs students to study the lecture well in advance of the class in which it will be discussed, preferably reviewing it the day before the discussion. This slide also indicates the date the lecture is to be discussed. Students are instructed to write down questions they may have, or topics relevant to the lecture that they would like to discuss during the “discussion session,” in the presence of the content expert. These questions would then be given to the student-selected team leader during a team meeting, prior to the class, where the questions are prioritized according to their level of importance.

Section 2. The lecture proper begins with a slide indicating the title of the lecture, followed by one or, at most, two slides, depicting an historical reference to the subject of the lecture. While this is innovative, because “history” is rarely an expected part of medical school lectures, the first impression of today’s students is to see “history” as being boring and a distraction because they are focused on what they envision as being practical and directly relevant to their future profession. Despite this student impression, the teaching of medical history continues to be considered highly useful but probably best learned in context, as part of the background to basic science disciplines and clinical studies, instead of being taught as a separate course as once existed in the vast majority of medical schools. It has been shown that historical perspectives keep students engaged, in addition to provoking in-depth thinking about the sequence of medical progress. By being a window into the past, “history” not only provides an appreciation of what has been done before and its influence on medical advancements, but also helps students understand that medicine is a continuum of improvement in which they too can play a part. It has been shown that expo-sure to historical information spontaneously stimulates students to develop and employ reasoning and critical thinking abilities.6

Section 3: This section comprises the body of the lecture. It is introduced by a slide that outlines three to five session learning outcomes intended to be reached by the end of the lecture. At the end of each section of a particular topic of the lecture, a bibliographical reference is included in the slide for students who wish further clarifications.

Section 4: The last slide of all lectures presents a brief clinical case, which nevertheless contains all of the traditional components, for example “chief complaints,” “history of present illness,” “past medical history,” “social history,” “family history,” “review of systems,” “physical examination,” and, if appropriate, “results of investigations.” Two to four questions embedded within the clinical case help to trigger appreciation of the basic science content of the lecture. The questions are exclusively for the benefit of the students to see if they have understood the basic science concepts presented in the lecture and their clinical relevance. The slide of the clinical case at the end of each lecture further serves to ingrain the clinical vocabulary used in describing all the pertinent information that a physician needs to arrive at a diagnostic decision and management plan.

The instructor, as the content expert responsible for a specific lecture, prepares five multiple choice questions (MCQs) that address the learning objectives/outcomes of the lecture and that will be used for formative and summative examinations. The instructor also prepares a list of questions which address concepts that are believed to be essential that students clearly understand, in the event that the students do not raise such question in the “flipped classroom” discussion session, described below.

b. i-RAT and t-RAT sessions

At the beginning of each day in which classroom discussion sessions are held, students take an individual readiness assurance test (i-RAT) that covers previously assigned material. The i-RAT is constructed using two of the five previously prepared MCQs from each lecture. These tests hold students accountable for learning the material before the class discussion. Once submitted, they are graded and eventually returned to the student as feedback.

Immediately after taking the individual test, students retake the same test as a team (t-RAT). The team effort provides an exciting opportunity for students to learn from one another, and help each other in a positive team effort. During the joint session that follows, each team leader, when requested by the instructor, collectively display to the entire class their answers with the use of an audience response system. The instructor provides the right answer and calls on teams to explain the rationale for their selection. By this process, not only are answers corrected, but reasons for misconceptions are uncovered, which may sometimes reflect problems in the construction of a question. While the team effort for learning is paramount, faculty are always available to help students understand and master difficult material.

The use of i-RATs and t-RATs that CalMed-SoM utilizes in all its system-based courses, is supported by studies that have shown that repeated testing improves long-term retention of material,7,8 and that retention is further increased when feedback is also furnished.9  Furthermore, psychology-based research indicates that taking quizzes and tests can reduce the “forgetting curve” by utilizing “retrieval practice,” another aid to retaining information.10

c. Flipped Classroom Discussion Sessions

The term “flipped classroom” refers to a pedagogical model that draws on such concepts as active learning and student engagement. It describes class structures that include pre-recorded lectures, which act as the homework element, followed by pertinent inclass activity. The value of this model is that class time is viewed as a time when students can question the content of a lecture, and test their skills in applying the information received, while interacting with one another. During these sessions, the instructor functions as a positive facilitator.

In contrast to the flipped classroom, the traditional class lectures are characterized by students trying to write down everything they think they need to remember without having the time to either reflect on what is being said or write everything that is being said, leading to the likely possibility that important information may be missed. The use of pre-recorded material, on the other hand, places the lecture under the control of the student who can watch it as many times as it is necessary to fully comprehend its content.

Before coming to class, each team has met to re-view, discuss, and finally collate those questions which have been raised by individual team members, as they reviewed the lectures, but have not been satisfactorily answered within the team. Collaborative interaction among the members of a team facilitates learning from one another as well as helping each other.

The structure of the class is as follows. Each team’s leader poses the team’s first question to the class and wait for an answer from other classmates. The determinant of the accuracy of the answer is the instructor. If the question has not been answered to the satisfaction of the instructor, a call is made to other classmates to complete the answer. The instructor intervenes only if no one can answer correctly or complete the answer. This routine continues, in a rotating fashion, by each team until all teams have asked the most important questions on their list, continuing until the two to two-and-a half hour time limit has been reached. This pedagogical model brings about an important change in traditional educational priorities by moving the emphasis from simply covering the presented material toward mastering that material.

3.2. Small Group Sessions (SGSs):

Small group sessions using Short Case Versions of PBL are considered an ideal educational model for learning how to successfully apply hypothetical inductive reasoning and expertise in multiple domains. Clinical cases that match a specific week’s clinical presentation theme are chosen for that week’s small group sessions. The contents of these clinical cases include learning triggers that are appropriate for that week’s course instruction. For each case, the list of established learning objectives, as shown in Table 3, cover the required components of knowledge, skills, and attitude necessary for students to master.

a. Organization of SGSs

Two structured small-group learning sessions, each two hour long, are held each week. The first, “Small Group-Session 1,” is held on Monday and the second, “Small Group-Session 2,” is held at the end of the week, as indicated in Figure 3. The structural organization of the SGSs reflects the composition of each College class, i.e., 10 students per college room, corresponding to two teams of five students each. Learning takes place concomitantly through self-study as well as through mutual “team” support. While the environment is student-centered and self-directed, a faculty member is available to facilitate in the clinical reasoning sessions as necessary.

Session 1 is held in a large classroom that accommodates the entire class. Each team of first year students is provided with one clinical case, whereas second year teams are provided with two cases. Each clinical case has a presenting complaint, reflecting one of the approximately eighty different “clinical presentations” which is scheduled for each week of the system-based courses during the first two years of the curriculum. Each clinical case contains information related to the following:

  1. presenting complaint and history of current illness; b) personal, family and social history; c) review of systems; d) physical examination; e) initial laboratory/ imaging studies (if appropriate).

An algorithm (an example of which is given in Figure 4), delineating the clinical presentation, is given to the students and explained by the clinical instructor with the aid of a clinical reasoning guide. After this presentation, the students, referencing the algorithm, “brainstorm” in teams, facilitated, if necessary, by their college mentor. This initiates the process of (a) analyzing the clinical problem, (b) clarifying the terms used and concepts presented, (c) identifying issues or “key points” with the goal of finding appropriate explanations, (d) addressing learning needs, that is, what new information/knowledge is necessary to achieve the learning objectives, and (e) identifying and discussing issues raised by the learning objectives. The learning objectives/outcomes for all clinical cases, which guide the work of the teams, are indicated in Table 3. This process strongly supports self-directed learning as students identify gaps in know-ledge, plan appropriately, then search for, collect, and discuss, the needed information.

During the week, students listen to, and review, the pre-recorded lectures, and attend the flipped classroom sessions where faculty-supported discussions address the systems/topics/problems involved in or related to the case of the week. On a regular basis the teams also meet to integrate theory and practice, working together to develop a reasoned solution to a complex problem, thereby answering the questions raised by the learning objectives.

Session 2, takes place at the end of the week in assigned college rooms. Through oral and/or Power-Point-driven presentations, students share the knowledge they have accumulated by providing answers to the questions related to the learning objectives/ outcomes. Each member of the team is expected to be familiar with the entire presentation and, therefore, prepared to present any of the five learning objective/ outcomes (Table 3). The college mentor, prior to the presentation, will determine the pairing of the student with the specific “section” to be presented. The presentations and the submitted answers will be evaluated and considered as formative assessments (with appropriate feedback) throughout the course, except for the last two weeks, where they will be evaluated as summative assessments. Final student evaluations will result from student self-evaluation, peer evaluation, and faculty evaluation of students’ presentations and performances.

3.3. The “da Vinci” College Colloquium Course

The “College Colloquia” are longitudinal courses that extend throughout the first two years and are held for two hours each week. Figure 3 identifies the location of the course in each week’s academic calendar. Each course is composed of two modules, exemplifying the “art and science” components of medicine. The first module is the college colloquium proper that is designed to help transform medical students into expert practitioners with sound professional behavior and empathy, in keeping with the epitome of great healers throughout history. At the heart of the courses are examples of the ethics and values that are emblematic of greatness in the medical profession. These colloquium sessions are interrupted every third week by a Journal Club module, which is the more scientific-related component of the Colloquium experience, as described below.

 

The college colloquium courses address the art and science of medicine from both a philosophical and analytical perspective, examining them as they relate to the social determinants of health, especially the challenges of global health. In that regard, these courses focus on individual health and well-being as well as on “Population Health, “Planetary Health” and “One Health” with an emphasis on prevention, promotion, and maintenance of good health.

a. College Colloquium Sessions

The colloquium is designed to explore medical humanities and complex areas of controversies including universal health care access, social determinants of health, differing moral values in different societies, end of life issues, organ donations and trade, and the caveats to providing accessible quality healthcare for entire societies. In addition, the colloquium is designed to address many educational and professional themes including the promotion of critical thinking, moral and ethical behavior, reflective mindfulness, respect, empathy, and understanding the importance of being socially accountable members of society. The sessions will also focus on the multidisciplinary aspects of healthcare and on the goal of lifelong personal and professional development.

The educational learning approach in the “College Colloquium” sessions utilizes the strategy of “cooperative learning”11 which, among other things, has been shown to enhance reasoning skills and improve self-esteem.12,13 Seven educational techniques have been selected to fulfill the intended aims of each session. These techniques include: (a) Think–Pair–Share14 (b) Discussions (“reciprocal teaching”)15 (c) Debates (d) Student

Teaching, also knowns as modified “reverse jigsaw” (e) Role Play (f) Team Game Tournament,11 and (g) Problem solving, using clinical cases.

b. Journal Club (JC) Sessions

The Journal Club meets specifically to assess and critically discuss the strengths and limitations of a scientific publication. Generally, the number of Journal Club sessions held in each system-based course is dependent on the duration of the course. The ultimate goal of the Journal Club is to help lay the foundations for critical, lifelong, self-directed medical education by encouraging the analysis of published peer-reviewed journal articles. The sessions are also intended to strengthen the following competencies: a) communication skills, b) critical thinking skills related to the review of scientific methods, statistical analysis of data, and understanding the impact of results on clinical care, c) improvement of reading habits, d) strengthening of collegial relationships via team discussion and analysis of information, and e) development of professional identity that is, “the relatively stable and enduring constellation of attributes, beliefs, values, motives, and experiences in terms of which, people define themselves in a professional role.” 16

The organization of the Journal Clubs mirrors the team structure of each College Class, that is, ten students per college room divided into two teams of five students each. In each two-hour Journal Club session, each of the two teams from one college presents a journal article. Students in the first year select an article from the provided list of approved journals and submit it to their college mentor for approval, thus promoting “self-directed learning with guidance.” In contrast, second year students choose articles on their own, with their selection being evaluated by the college mentor only at the time of presentation, thus promoting “self-directed learning.” The journal reference for both articles must be made available to the entire class and college mentors at least two weeks prior to their presentation. Ten students are involved in each Journal Club session. The remaining students are expected to have read both articles and be ready to facilitate the discussion should their names be drawn from the “Journal Club Urn”.

The Journal Club is designed to be a positive educational experience for all participants. Presenters learn to apply sound principles of education including: a) set-ting specific learning goals for the participants and b) structuring their presentation to address specific information that they want participants to learn. Presenting teams review the article being presented, dividing the presentation evenly among the five team members so that each is responsible for a maximum ten-minute presentation that includes: (a) the introduction (b) materials and methods (c) results (d) conclusions (e) discussion. Each member of the team is expected to be familiar with the entire Journal Club presentation and, therefore, be prepared to present any of the five sections. Prior to the presentation, the college mentor will determine the pairing of the student with the specific “section” to be presented.

3.4. Clinical Skills (CS)

Clinical Skills are longitudinal courses that extend throughout the first two years of the curriculum and are integrated within each system-based course. They are held once each week for two hours. Figure 3 identifies the location of the course in the week’s academic calendar. The courses are designed to teach medical students the basic clinical skills needed for the practice of good medicine. These skills include effective communication, the appropriate application of algorithm-driven history taking and physical examination, the performance of basic procedures, the ability to interpret fundamental diagnostic studies, and fluent, concise, and effective presentations of clinical cases. The Clinical Skills sessions that take place within each course are designed to teach the basic clinical skills that relate to both the covered clinical presentations and to the specific topic of the system-based course. This integration reinforces each component of the course by broadening and deepening the learning experiences of the students.

Another component of the Clinical Skills Courses is a “Service Learning” experience, defined as, “a teaching and learning strategy that integrates meaningful community service with instruction and reflection to enrich the learning experience, teach civic responsibility, and strengthen communities.” 17 Service learning takes place in the local community, and students are involved for one day every three to four weekends over a two-year period.

The scheduled Clinical Skills weekly meetings are divided into three equal sessions, each lasting two hours and accommodating one-third of the class (refer to figure 3 for the location and distribution of the sessions in the week’s academic calendar). Each session is further subdivided into two “stations”, lasting one (1) hour each. These sessions are related to (a) the learning of a practical skill and (b) role playing a problem that presents with the week’s clinical presentation topic.

a. Practical Skills

“Station 1” refers to performing a learned practical skill, either on a manikin, a fellow-student or a standardized patient. Table 4 shows an example of representative activities taking place in the two stations. Performance of each clinical skill is supported by an instructional guide. However, students first observe performance of each skill by the instructor, prior to being allowed to perform it themselves.

b. Role-Playing

Arriving at an accurate diagnosis is critical, and involves carefully evaluating the facts obtained from taking a complete history, performing an accurate physical examination and properly interpreting laboratory study results. According to careful reviews of this procedure, the history contributes approximately 80% (range 64 – 83%) to making medical diagnoses when physicians were involved18-22 and approximately 64% when students (58%) or residents (70%) were involved.22,23 The remaining percentages were almost equally distributed between the physical examination and the results of laboratory tests. The data clearly indicate that taking an accurate “history” is the most important factor in re-aching an accurate diagnosis; however, in today’s time-limited environment it is probably not used effectively. Based on this information, CalMed-SoM is committed to improving history-taking skills, in addition to having students understand their importance. Role playing is a major pedagogical tool in acquiring this valuable skill.

In “Station 2” students employ “role-playing” techniques to enact the clinical presentation problem for that particular week. Each student is pre-assigned a specific “disease” whose presenting complaint is the topic of that particular session. Students are not informed be-forehand what role they will be assigned. Therefore, to be prepared, they must learn their assigned “disease” completely, so they are able to answer all relevant questions asked by the student who will be playing the “physician” in an actual history-taking session. Students who are the “physicians” also need to learn the use of the algorithm and history-taking skills to conduct these sessions. Since students do not know if they are going to be patients or physicians, they are expected to learn both roles!

Being a “patient” is a vital lesson for students. No longer are they simply “learning to learn” in order to treat others, they are given an important opportunity to understand, with more depth, how the “others,” that is, the patients, feel. It is a subtle way to help students understand the best way to elicit important, critical information in order to make an accurate diagnosis. Student patient-physician pairs are assigned their roles randomly just prior to their role-playing. The student playing the role of the physician is unaware of the disease or condition that her/his patient will be simulating. Each role-playing session takes place in a room monitored by a faculty member. At the end of the exercise, a debriefing is held that includes a discussion with the two students based on their compilation of both a “SOAP” note (“SOAP” is an acronym for Subjective, Objective, Assessment, and Plan and refers to a method of documentation employed by health care providers to write out notes in a patient’s chart) by the student playing the role of the physician, and an evaluation form, by the student playing the part of the patient. The role-playing is recorded and reviewed by faculty and the participating students.

3.5. Laboratory Sessions

A challenge for this active-learning, system-based, team-driven curriculum, with its tightly integrated clinical presentations, was the need to create laboratory sessions compatible with the active learning methods used. With this in mind, CalMed-SoM designed the laboratory experience as a hands-on multidisciplinary learning ad-venture in which pre-clinical students are immediately exposed to the integration of structure and function with pathology and clinical conditions from the first day of medical school. Four-hour laboratory sessions are held weekly. Although the majority of the sessions deal with anatomy and related disciplines, including embryology and histology, other disciplines, such as pathology and microbiology, are also covered.

The recent inclination to decrease course hours during medical school has resulted in a significant decline or, in some cases, elimination, of dissection time in human anatomy courses.24 This has resulted in great concerns, including questioning of the effectiveness of the current, more technological approaches to teaching anatomy. The concerns are valid. Not just because of their negative impact on a student’s knowledge but also on the neglected opportunity to reflect on humanity and mortality as well as eroding the human responses of empathy and compassion, important traits for acquiring competence as a physician.25,26 In an attempt to improve long-term retention in the knowledge of anatomy and, to simultaneously allow the student to experience some of the realities of life and death, CalMed-SoM has designed a blended laboratory experience, using both cadavers, as well as anatomical-imaging correlations, anatomical characterizations of surgical procedures, ultrasonographic living anatomy sessions together with pathological correlates. This approach in the teaching of laboratory procedures allows anatomic, physiologic and pathologic principles to be appreciated and applied to the clinical concepts taught during the CPs and the clinical cases of CalMed-SoM’s active learning curriculum.

To achieve this goal, students are divided into small groups, each of which rotates for one hour through four different laboratory stations. The content of the stations is integrated into the current CP learning topic of that week by presenting its gross anatomy, procedural anatomy, ultra-sonographic and imaging components as indicated in Table 5: A and B.

The Faculty at CalMed-Som believe that this active learning approach in the laboratories will be effective in enhancing the ultimate learning experience and professional acumen of its students. As designed, it will improve the early knowledge and skills acquisition of medical students, better preparing them to meet the challenging diagnostic and safe practice requirements needed for the clinical experiences in their clerkship years. The performance of bedside procedures, in addition, will promote and reinforce the “spiral” integration of the basic and clinical sciences within the curriculum.

3.6. Academic Research Study (ARS)

CalMed-SoM’s commitment, to both its students and to the field of medicine, is to provide students with experiences in research, encouraging them to understand its importance to the successful practice of medicine as well as the stimulating, creative aspect of doing research. CalMed-SoM recognizes that real research is not a hobby or a side activity, and that going through the educational program to become a physician is very demanding. However, it is realized that understanding research and being able to accurately assess its conclusions is an essential factor in good medical practice. For this reason, CalMed-SoM has designed a mandatory, basic course in research for all students. It also strongly encourages its students to supplement this course with appropriate research electives in order to enhance the research experience and encourage a more in-depth appreciation of the necessity of life-long learning and critical thinking.

The Academic Research Study Course takes place throughout the second year. Although the course is a mentor-guided research program, by the end of the course the student is expected to lead the project and demonstrate independence. The course itself is pre-ceded by a one-week introductory session at the end of the first academic year. This introductory session is designed to serve a dual purpose: a) to provide basic, essential information on how to approach and conduct a successful research project, and b) for those students who would like to pursue research interests in conjunction with Global Health, the introductory session will also provide adequate preparation to do so. In addition, the course encourages students to undertake research activities during the summer respite.

VI. Clinical Years

In the third and fourth years of the curriculum, students rotate through a series of clinical clerkships, sub-internships, and electives. During these rotations, students are placed both in inpatient and outpatient set-tings, working closely with faculty, resident physicians, and other members of the healthcare team. The clinical rotations including clerkships, sub-internships, and electives, allow students to apply their knowledge of the basic sciences and expand their clinical knowledge and skills in the fields of surgery, internal medicine, family medicine, pediatrics, obstetrics & gynecology, neurology, psychiatry, emergency medicine, and the subspecialties within these major medical disciplines. Key scientific principles are reinforced during these years to complete the vertical integration of basic science information.

Year 3

During the third year of the curriculum, students rotate through seven different disciplines, contained within six blocks, each block lasting eight weeks, as denoted in Figure 5 and Table 6. During the clinical rotations, the students have the opportunity to recall and refer to the “clinical presentation” algorithms that were introduced in the first two years, thus fully integrating the educational experiences throughout the curriculum.

Year 4

The fourth year of the curriculum is composed of nine blocks, each lasting four weeks, for a total of thirty-six weeks. During this year students are allowed to choose one of four “Paths,” i.e., surgical, medical, service, and customized, as indicated in Table 6, which reflect each student’s future goals. Each Path lasts twenty weeks and is composed of three preparatory courses, each lasting four weeks, designed to prepare students for their chosen eight-week, sub-internship as well as their future aspirations. In addition to the chosen Path, students are also required to select up to four electives, one of which must be in Emergency Medicine. For the remaining electives, students are strongly encouraged to diversify their preferences by choosing at least one from each of the following three categories: career-oriented clinical disciplines, including focused experiences in the intended specialty non-career oriented clinical disciplines, which indicates experiences not directly related to an intended specialty service-oriented disciplines referring to structured service learning experiences in the field of Global Health/Public Health with emphasis on local, national or international resource-challenging settings.

  1. Surgical Path: (see table 6)

The  surgical  path  begins  with  three,  four-week courses, before an eight-week sub-internship, that includes (a) the anatomic and cadaveric dissections of areas of the body related to the a student’s sub-specialty aspirations, (b) participation in a surgical pathology laboratory where the student reviews macroscopic and microscopic surgical specimens, and is involved with the autopsy service (c) diagnostic imaging, focusing on all forms of imaging studies, in particular those related to a chosen sub-internship. In this Path, the student can select one of two sub-internships: General Surgery or Obstetrics and Gynecology.

  1. Medical Path (see table 6)

The Medical Path contains two, four-week courses, preceding an eight-week sub-internship. One of the two courses, Basic Science Update, is a capsule review of specific topics in basic science disciplines most frequently encountered in the practice of medicine. The second course is a rotation in the diagnostic imaging department. In this Path, the student may choose one of two sub-internships: Internal Medicine or Pediatrics. After completing the sub-internship, students are also required to take a four-week elective related to the chosen sub-internship, in addition to three other general electives.

  1. Service Path: (see table 6)

The Service Path contains two, four-week courses, before an eight-week sub-internship. The two required courses are similar to those of the Medicine Path. Stu-dents may choose one of three sub-internships: General Surgery, Internal Medicine or Pediatrics. After completing the sub-internship, students may take electives rela-ted to the field that they plan to pursue.

  1. Customized Path: (see table 6)

The Customized Path requires that students take the Emergency Medicine clerkship and one of the four available sub-internships: General Surgery, Internal Medici-ne, Pediatrics or Obstetrics and Gynecology. Courses necessary to complete the required 36 weeks, may be from any of the three categories indicated above (see section “B. Year 4”).

VIIAssessment methods

The purpose of assessment is to ensure that students are developing the required level of competence in knowledge, skills and attitudes for the practice of medicine in a supervised setting. The principles that have guided the development of CalMed-SoM’s assessment plan include the following convictions:

  1. The recognition that: a) medical students are responsible, motivated adults and are therefore expected to participate actively in assessing their own learning progress, guided by staff, fellow students, patients and others; b) the assessment process should en-courage and acknowledge co-operative learning and excellence and be clear, so that students know in advance what they need to do to pass or obtain better results in a course; and c) the Faculty has a responsibility to assure students, staff, the profession and the public that graduates have achieved the prescribed institutional outcomes to become physicians.
  2. The conviction that assessments should: a) support learning and promote the integration and application of information, principles, and concepts; b) closely match “real-life” situations whenever possible; this should include frequent observations of students interacting with patients; and c) use a combination of methods to provide a comprehensive assessment of the core knowledge, skills, and attitudes defined in the institutional program outcomes for the medical degree.
  3. The number, timing, and weighting of individual assessments are designed to maximize validity (both formative and summative).
  4. Both formative and summative assessments will test and evaluate knowledge, skills and attitudes that are defined in the learning outcomes for courses and clerkships in the curriculum.
  5. The formative (learning) functions of assessment will be given as much emphasis as the summative (grading and selection) functions.

Formative Assessments

Frequent assessments enhance student learning.6,7 The more opportunities students get to work actively with course material and receive feedback, the better the chances that they will learn and retain it.9 Formative assessments are designed to monitor student learning and provide ongoing feedback that can be used to improve both learning and teaching. These forms of assessments are informal and intended to (a) make students aware of their learning progress, help them identify their strengths and weaknesses, and thereby target areas that need modification or additional work, (b) help the faculty recognize where students are struggling and address these problems appropriately and in a timely manner, (c) provide regular feedback and evidence of progress, (d) alert instructors about student misconceptions, (e) serve as an “early warning signal,” (f) allow students to build on previous experiences, (g) align with instructional and curricular outcomes, and (h) portray student’s life as a learner. Through the use of formative assessments, information about students’ progress is accumulated and used to help make instructional decisions that will improve learning and achievement levels. The formative assessment methods used to assess the six institutional competencies are indicated in Table 7.

Summative Assessments

These assessments are intended to be a formal process that evaluates student achievement of the learning outcomes of a course or clerkship throughout the four-year curriculum. They serve to determine student mastery and understanding of information, skills, concepts, and processes, and will be used to reach decisions regarding grade reports, student progression and exit achievement. The results of summative assessments will contribute to the final result in a course or clerkship.

A detailed explanation of the various assessment methods used in the different courses at CalMed-SoM is beyond the scope of this article. Formative and summative assessments methods used to evaluate the institutional competencies encapsulated in CalMed-SoM’s Program Learning Outcomes are summarized in Tables 7 and 8 respectively.

VIII. Conclusions

CalMed-SoM, the new medical school in Southern California, is being designed as a socially accountable school that will advance medicine by an innovative, carefully honed medical education program. Medical education at CalMed-SoM is student-centered, incorporating an innovative curriculum that includes an amalgam of established, successful pedagogy, collated from the most advanced educational institutions throughout the world. This curriculum promotes a team-based educational strategy that enhances and refines the potential practice of medicine as students learn to collaborate, to analyze, to express themselves and, above all, to under-stand that it is not the fastest answer that is necessary but the answer grounded in careful listening and careful analysis. This competency-based curriculum, designated as the “Global Active-Learning Curriculum,” incorporates carefully conceived approaches and methodologies to learning, guided by adult learning strategies. It is clinical presentation driven and utilizes a Person-Centered Clinical Approach Learning Method. This Method refers to a structured, guided inquiry technique that enhances a student’s ability to understand disorders, problems, and clinical cases. Through team participation, students integrate relevant basic science knowledge with clinical knowledge acquired through self-directed learning strategies and, using analytical and critical thinking skills, that include understanding the clinical relevance of all the scientific, environmental and social determinants relevant to the clinical problem, find appropriate answers to profound questions.

CalMed-SoM’s clinical presentation-driven curriculum helps students identify their strengths and weak-nesses, allowing them to draw on the former and rectify the latter, as they assume responsibility for their own learning and build the foundations for a lifetime of learning and self-improvement in aspiring to be competent and caring physicians with leadership skills for the complex world of the 21st Century.

Table 1: Names used for 1st & 2nd yr courses (in parenthesis are indicated the equivalent traditional system names). *Medicine being “Art and Science”, the title denotes the principles of that part of medicine that is “Science”-related **Running simultaneously throughout the system-based courses of the respective academic years.

Figure 1: Courses of the first (A) and of the second (B) academic years. The numbers in each of the colored rectangles indicate the length, in weeks, of each course. The sequence of the courses in the two academic years is indicated by the progressive number (i.e. 1st, 2nd, etc.) found in the white rectangles and their titles can be found in Table 1.

Figure 2: Exam week composed of review time during the first 3 days and exams on the last two days of the week.

Figure 3: Typical week of educational activity. The grey-shaded blocks are times set aside for individual student or team-related activities which comprise 37.5% of total week hours. For a description of the individual educational activities indicated in the figure, which comprise 25 hours of contact hours, see text. Note: The two discussion sessions, appearing both on Wednesday and Thursday (indicated as “(B)”, are to be considered as a single session even if interrupted by a “lunch” break. The letters “A”: through “N” contained within the Classroom Discussion Session boxes, refer to the sequence of topics found in table 2.

Table 2: Example of 1 week of prepared, voice-over PowerPoint lectures to which the student has access at least 2 weeks before they are discussed in class. Four lectures (sequence A – D) will be covered in the 4 hr Monday discussion session and five lectures in each of the 4.5 hr Wednesday (sequence E – I ) and Thursday (sequence J – N) sessions.

Figure 4: Algorithm on “weight loss” represents the first clinical presentation in the course “The Scientific Foundations of Medicine”.

Table 3: Items that need to be addressed by students from each team in the presentation of their clinical case during Small Group Session 2 on Friday. Each student should be familiar with the entire clinical case and be ready and prepared to present any of the five items. Pairing of the student with the item to be presented will occur at the discretion of the presiding College Mentors, just prior to the presentation.

Table 4: Schedule showing the integration of the Clinical Presentations with the Clinical skills sessions, along with the schedule for the College colloquium and Journal Club sessions, for the course entitled “The Structural Integrity of the Human Body”

Table 5: Excerpt of the laboratory schedule from the first course of year 1, “The Scientific Foundations of Medicine” (A) Content of week 1 of the course, and (B) content of week 5 of the same course

Figure 5: Schedule showing the 8 week block rotations of the various clerkships composing the third year of the CalMed-SoM curriculum.

Table 6:(A) Year 3 curriculum indicating the Clerkships and their duration in weeks. (B-E) Year 4 curriculum indicating the four different Paths available to students, i.e. Surgical Path (B), Medicine Path (C), Service Path (D), and Customized Path (E) *At least one (1) of the electives must be related to the sub-internship selected (Surgery, Medicine, Pediatrics, or Obstetrics & Gynecology).

Table 7: Formative Assessment methods used to assess the six Institutional Competencies

Table 8: Summative Assessment methods used to assess the six Institutional Competencies.

Bibliografia

  1. Frenk J, Chen L, Bhutta ZA, et al. (2010). Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet, 376:1923-1958.
  2. Hecker K, Violato C. (2008). How much do differences in medical schools influence Student Performance? Teaching & Learning in Med 20(2):104-113
  3. Hecker K, Violato C. (2009). Medical School Curricula: do Curricular Approaches Affect Competence in Medicine? Fam Med 41(6):420-426
  4. Ripkey DR, Swanson DB, Case SM. (1998). School to School Differences in Step 1 performance as a function of curriculum type and use of Step 1 in promotion/graduation requirements Acad Med 73(10):16-18
  5. Watson WE, Michaelsen LK, Sharp W. (1991). Member competence, group interaction and group decision-making: A longitudinal study. Journal of Applied Psychology. 76:801-809.
  6. Jones DS, Greene JA, Duffin J, Warner JH. (2014). Making the case for history in medical education. J Hist Med Allied Sci 70(4):623-652
  7. Larsen DP, Butler AC, Roediger HL III. (2009). Repeated testing improves long term retention relative to repeated study: a randomized controlled trial. Medical Education 43:1174-81
  8. Butler AC. (2010). Repeated testing produces superior transfer of learning relative to repeated studying. Journal of Experimental Psychology: Learning, Memory, and Cognition 36:1118-1133
  9. Butler AC and Roediger HL III. (2008). Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing. Memory and Cognition 36:604-616.
  10. Karpicke JD, Blunt JR. (2011). Retrieval practice produces more learning than elaborative studying with concept mapping. Science 331:772-775.
  11. Slavin, RE. (1990). Cooperative Learning: Theory Re-search and Practice. Published by Allyn and Baco
  12. Ross J, Smythe E. (1995). Differentiating cooperative learning to meet the needs of gifted learners: A case for transformational leadership. Journal for the Education of the Gifted, 19:63-82
  13. Johnson DW, Johnson RT. (2009). An educational psychology success story: Social inter-dependence theory and cooperative learning. Educational Researcher 38 (5):365–379
  14. Lyman F. (1987). Think-Pair-Share: An expanding te-aching technique: MAA-CIE Cooperative News, v. 1, p. 1-2.
  15. Palincsar AS, Brown A. (1984). Reciprocal Teaching of Comprehension-Fostering and Comprehension Monitoring Activities. Cognition and Instruction, 1(2), pp. 117-175.
  16. Brott PE Myers JE. (1999). Development of professional school counselor identity: A grounded theory. Professional School Counseling, 2(5):339-348.
  17. Corporation for National and Community Service, Learn and Serve America, National Service-Learning Clearinghouse, What is Service-Learning? servi-celearning.org/what-service-learning,
  18. Hampton JR, Harrison MJG, Mitchell JRA, et al. (1975). Relative contributions of history taking, physical examination, and laboratory investigation to diagnosis and management of medical outpatients. BMJ . 2:486-489
  19. Gruppen LD, Woolliscroft JO, Wolf FM. (1988). The contribution of different components of the clinical en-counter in generating and eliminating diagnostic hypo-theses. Res Med Educ 27:242-247
  20. Peterson MC, Holbrook JH, Hales D, et al (1992). Contributions of the history, physical examination and laboratory investigations in making medical diagnoses. West J Med 156:163-165
  21. Rao RM. (2000). A study on relative contributions of the history, physical examination and investigations in making medical diagnosis. J Assoc Phys India, 58:771-775.
  22. Market RJ, Haist SA, Hillson SD. (2004). Comparative value of clinical information in making diagnosis. Med-GenMed 6(2):64-70
  23. Tsukamoto T, Ohira Y, Noda K, et al. (2012). The contribution of the medical history for the diagnosis of simulated cases by medical students. Int J Med Educ 3:78-82.
  24. Craig S, Tait N, Boers D, McAndrew D. (2010). Review of anatomy education in Australian and New Zea-land medical schools. ANZ J Surg 80:212-216.
  25. Gunderman RB, Wilson PK. (2005). Viewpoint: exploring the human interior: the roles of cadaver dissection and radiologic imaging in teaching anatomy. Acad Med 80:745–749.

Weeks SE, Harris EE, Kinzey WG. (1995). Human gross anatomy: a crucial time to encourage respect and compassion in students. Clin Anat 8:69-79.

Cita questo articolo

Tenore A., Velji A, Suskind R.M., “The Global Active-Learning Curriculum: a new approach to teaching medicine in the 21st Century”, Medicina e Chirurgia, 74: 3346-3365, 2017. DOI: 10.4487/medchir2017-74-1

Stato dell’arte dei Gruppi di lavoron.70, 2016, pp. 3184

Gruppo di lavoro

MD – PhD

Il Gruppo comprende attualmente Marco Krengli (Piemonte Orientale, Novara), Daniele Santini (Campus Biomedico, Roma), Antonio Moschetta (Bari), Raffaella Muraro (Chieti), Francesco Curcio (Udine), Calogero Caruso (Palermo), Luciano Daliento (Padova), Paolo Remondelli (Salerno), Mauro Tognon (Ferrara), Antonella Calogero (Roma La Sapienza, Polo Pontino) e Riccardo Zucchi (Pisa). E’ stata recentemente acquisita la collaborazione di Massimiliano Corsi Romanelli delegato del rettore dell’Università Statale di Milano per il percorso MD-PhD.

 

L’obiettivo è quello di individuare le possibili caratteristiche del percorso MD-PhD in termini di accesso e svolgimento, nonché le modalità di integrazione di tale percorso nell’ambito del corso di laurea in Medicina e Chirurgia, al fine di formulare una proposta utile alla redazione di un documento della Conferenza che fornisca indicazioni per la stesura di una normativa ministeriale.

L’attività prosegue come previsto con la raccolta di informazioni su percorsi simili in ambito internazionale al fine di giungere alla formulazione di una proposta finale.

È stata preparata una scheda di raccolta dati e i componenti del gruppo hanno iniziato a raccogliere informazioni sulla base di contatti nei vari Paesi Europei ed extra-Europei. La scheda prevede di indagare il piano di studi in termini di ore di impegno nelle diverse attività didattiche (lezioni, tirocinio, laboratorio) e loro distribuzione negli anni di corso, tipi di ricerca svolta, criteri di ammissione e di permanenza nel percorso, modalità di accesso, nonchè modalità di assegnazione di borse di studio ed eventuali altri benefits per gli studenti inseriti nel percorso.

Sono stati finora raccolti dati, che sono in fase di elaborazione, dalle seguenti sedi:

Phillips University, Marburg, Germany; Ruprecht-Karls University of Heidelberg, Germany; University of Zurich, Switzerland; University of Tours, France; Virgina Commonwealth University, USA; Yale University, USA; Johns Hopkins University, USA.

Sono in corso contati con altre sedi fra cui le Università di Belfast, Tubingen, Leiden, Cordova e Danzica.

Da una prima analisi delle informazioni raccolte dalle sedi contattate e da dati di letteratura risulta che i percorsi hanno alcune caratteristiche simili in Europa e in Nordamerica. Negli USA vi sono 120 programmi (Alamri Y, Clinical Medicine, 2016, 16:215-8), 45 dei quali finanziati da NIH. In Canada il supporto del Canadian Institutes of Health Reserach verrà meno a partire proprio dal 2016, tuttavia alcune Università proseguiranno a offrire percorsi Md/PhD. La maggior parte di questi percorsi ha una durata di 8 anni che consentono di ottenere sia la laurea sia il titolo di dottorato. In Europa il programma MD/PhD è nato in UK all’Università di Cambridge e poi si è esteso ad altre istituzioni accademiche nel Regno Unito e in altri Paesi fra cui Svezia, Svizzera, Germania, Francia. Analogamente, in Asia, Giappone e Singapore hanno simili programmi e Australia, Nuova Zelanda e, più recentemente, Sudafrica hanno pure adottato analoghi percorsi.

Per meglio definire lo scenario Europeo sono previsti contatti anche con la “European MD/PhD Association (EMPA)” (http://www.eumdphd.com/empa-2/), che riunisce studenti inseriti nei percorsi MD/PhD.

Si prevede di completare la survey in modo da presentare un report preliminare alla riunione di Roma il 4 luglio e completo alla riunione di Messina il 16-17 settembre 2016.

(Marco Krengli)

 

Studio comparativo fra risultati degli immatricolati “regolari” e “ricorrenti”

Abbiamo terminato l’analisi dei dati forniti dai Corsi di Laurea in Medicina e Chirurgia di Milano Statale, Milano Bicocca, Modena e Reggio Emilia, Molise, Novara, Pavia, Roma (La Sapienza) e Torino (Orbassano e Molinette) che hanno permesso di valutare l’eventuale relazione tra voto di maturità e punteggio al test di ingresso, tra punteggio al test di ingresso e score di rendimento (punteggio che tiene conto del numero di esami superati e del voto conseguito, pesato per il numero di CFU attribuiti al corrispondente insegnamento), tra score di rendimento e alcune delle variabili incluse nello studio.  Come già ricordato in occasione dell’incontro di Siena (ed inviato, come richiesto, il 22 febbraio scorso), i risultati preliminari hanno evidenziato una differenza, più o meno rilevante a seconda della sede, tra il rendimento ottenuto dagli studenti immatricolati regolarmente e quello degli immatricolati in sovrannumero: con risultati migliori per i primi.

Per fornire la sintesi definitiva è necessario che i Presidenti dei CdL coinvolti commentino i risultati che saranno loro inviati la prossima settimana.

Il lavoro potrebbe proseguire valutando i risultati al termine del primo triennio (AA: 2016/17); a tal fine sarebbe estremamente utile poter includendo CdL del Centro-Sud Italia dove maggiore è stato il numero di studenti immatricolati in sovrannumero.

(Anna Bossi)

 

Progress Test- Progetti futuri

Il gruppo di lavoro comprende: Salvatore Bozzaro (Torino – Polo San Luigi Gonzaga di Orbassano), Agostino Palmeri (Catania), Giulia Morace (Milano  -Polo San Paolo), Maria Penco (L’Aquila),  Antonio Lanzone (Roma – Cattolica), Manuela Merli (Roma – SAPIENZA-CLMB), Stefania Basili (ROMA-CLMD), Felice Sperandeo (SISM), Alfred Tenore (past-president – Udine – Chair, Department of Medical Education, University of Science and Medicine Colton, California, USA).

In occasione della riunione della Conferenza tenutasi a Siena sono stati mostrati i dati finali dell’ultimo PT. In seguito ad ogni Presidnte è stata inviata una richiesta di creazione di domande di tipo nozionistico e a vignetta clinica da selezionare per il PT 2016.  Ogni Presidente dovrà inviare il form al corpo docente del CLM e la collezione di domande dovrà essere inviata alla Commissione validatrice entro il mese di Luglio. Attualmente abbiamo ricevuto solo 150 domande.

Il prossimo Progress Test si terrà il 16 Novembre 2016.

(Alfred Tenore, Stefania Basili)

Il progress test, dal novembre 2006 al novembre 2014n.68, 2015, pp. 3089-3093, DOI: 10.4487/medchir2015-68-3

Abstract

On November 15, 2006 the first Progress Test (PT) was made available to all Italian Medical Schools, on a voluntary basis, as an initiative of the Conferenza Permanente dei Presidenti di Consiglio di Corso di laurea Magistrale in Medicina e Chirurgia. Since 2006, the PT has been held annually for the last 9 years. During these 9 years, the percentage of Italian medical schools that have participated has increased from 50% to approximately 88% and has seen the number of participating students increase from 3,300 to approximately 22,000. Although the PT is not a new invention, but dates back to the 1970’s, it is undergoing a revival for the same reasons that it was originally created. At its inception it was realized that up to that time (as it continues to occur in many contemporary schools) the assessment of knowledge acquired during any academic year was obtained exclusively from end-of-course or end-of-year exams. Unfortunately, such exams have been shown to have important steering on learning since they push students to prepare themselves primarily for the passing of these exams. Such exams have also been shown to indirectly reinforce the mnemonic aspect of studying medicine and in the vast majority of cases students tended to limit their studies by concentrating primarily on what they believed would be the content of the exam.

From these reflections, a new philosophy mushroomed regarding the concepts of assessment and evaluation. It became clear that what had to be left behind was the direct relationship between specific educational programs and their evaluation. What had to be evaluated was not so much the acquisition of the specific course-related learning objectives but the progressive acquisition of the final objectives of the overall medical curriculum. For these reasons it was realized that evaluation had to be as a continuous a process as possible. The original idea of the creators of the PT was that exams should not interfere with an individual’s desired behavior in studying, and that decisions of pass/fail should be based on longitudinal and not on single evaluations.

Even though the PT was developed to respond to a new form of education introduced at that time, that of Problem Based Learning (PBL), it has been subsequently demonstrated that the application of a longitudinal, progressive method of assessment and evaluation is valid not only for PBL-based curricula, but also for those (still) using “traditional” curricula.

This report will begin with more detailed information on the philosophy, advantages and disadvantages’ of this type of exam, continue with a description of the Italian experience over the last 9 years and in particular, focus on of the results of the last PT taken by 22,955 Italian medical students.

Articolo

Introduzione

Gli Atenei italiani per la gran parte includono anche il Corso di Laurea in Medicina e Chirurgia. Sebbene i curricula di questi corsi siano spesso diversi, essi sono costruiti attorno ad un core costituito da unità didattiche elementari che fanno si che il prodotto finale, ossia il laureato in medicina e chirurgia, sia sufficientemente sovrapponibile indipendentemente dalla sua provenienza. Con l’introduzione dell’ammissione a numero programmato sulla base del superamento di una prova di ingresso uguale in tutte le scuole la popolazione che viene ammessa alla scuola di medicina sembrerebbe essere omogenea. Inoltre negli ultimi anni grazie alla graduatoria nazionale si può contare su una distribuzione diversa dalla regione di provenienza nel 50% dei casi. Tuttavia, la continua ricerca pedagogica che avviene da moltissimi anni all’interno della Conferenza Permanente dei Presidenti di Corso di Laurea in Medicina e Chirurgia (CPPCLM&C) ha fatto emergere sempre di più la necessità di un metodo di valutazione interna e di confronto tra curricula. Inoltre, l’incremento della mobilità internazionale sia durante il corso degli studi (progetti ERASMUS) che dopo la laurea ha incrementato la ricerca di un modello di valutazione di ampio respiro internazionale.

In Medicina, la “conoscenza” ha sicuramente un ruolo centrale come in altri campi di studio nella determinazione della competenza professionale. E’ essenziale, quindi, che qualunque sistema di valutazione includa misure sull’acquisizione di “conoscenze” attendibili ed accurate.

Uno degli aspetti più importanti della competenza medica e del ragionamento clinico è la necessità che il medico acquisisca una notevole capacità di accumulare informazioni in modo organizzato e di mantenere nel tempo quelle essenziali all’esercizio delle competenze professionali (core curriculum); è altresì importante che questa abilità venga insegnata fin dall’inizio della frequenza alla facoltà di medicina. Se tanta informazione è realmente necessaria per far sì che uno studente diventi un buon professionista, allora le facoltà di medicina dovrebbero creare degli strumenti specifici per valutare l’acquisizione e il mantenimento delle conoscenze più rilevanti durante gli anni di formazione.

Sicuramente il metodo tradizionale degli esami di profitto garantisce stimoli comportamentali continui per lo studente che risponde strategicamente allo scopo di ottimizzare al massimo le possibilità di successo (assessment drives learning). Rompere il rapporto vincolante tra esame e apprendimento ed evitare che il sistema di valutazione certificativo rappresenti l’unica forza che spinge lo studente all’acquisizione delle conoscenze rappresenta da molto tempo una sfida ad una riforma curriculare significativa.

Negli anni settanta, quasi in contemporanea, l’Università di Missouri (Kansas City, USA) e l’Università di Limburg a Maastricht (Olanda) individuarono nel “progress testing” un metodo di valutazione progressiva dell’acquisizione di conoscenze. La base di questa metodologia si fondava proprio sulla nuova concezione della valutazione che non doveva interferire con il comportamento individuale desiderato nello studio e che le decisioni di “pass/fail” dovevano essere basate su valutazioni longitudinali e non su singole prove certificative. In seguito, a metà degli anni novanta anche l’Università di McMaster (Canada) incorporò il “progress testing” nel suo curriculum medico.

Tutte e tre le Istituzioni differivano per quello che riguardava la modalità e la specificità del progress testing. Tuttavia, i sistemi adottati avevano in comune delle caratteristiche essenziali:

a) il test è così omnicomprensivo che è virtualmente impossibile prepararsi per esso,
b) la valutazione è basata sulla performance globale e non sul risultato singolo (superamento o bocciatura al singolo esame).

Ne deriva che il progress testing rappresenta un metodo per valutare l’acquisizione e la ritenzione, tempo-dipendente, delle conoscenze riguardo agli scopi e obiettivi del curriculum formativo globale e non del singolo corso. In altre parole, un metodo per valutare la quantità di conoscenze accumulate dagli studenti, rispetto al dominio di conoscenze richieste del ‘prodotto finito delle Scuole di Medicina’, ossia il laureato ideale di un programma di formazione.

Poiché studenti di tutti gli anni di corso fanno lo stesso esame, i risultati di tutti gli anni permettono di seguire la crescita di conoscenze e competenze di ciascuno studente nel corso di tutti gli anni della sua educazione medica, e allo stesso tempo di trarre delle conclusioni che riguardano il curriculum o parti del curriculum formativo.

Anche se il Progress Test venne ideato anche per rispondere ad un nuovo metodo di insegnamento, quello del Problem Based Learning (PBL) è stato dimostrato che l’applicazione di uno strumento longitudinale per la valutazione progressiva è appropriato per valutare non solo programmi curriculari che adoperano l’apprendimento basato su problemi, ma anche quelli tradizionali.

Il 15 novembre 2006, la Conferenza Permanente dei Presidenti di Consiglio di Corso di Laurea Magistrale in Medicina e Chirurgia aggiunse un nuovo tassello alla “mission” di migliorare la qualità della formazione degli studenti di medicina e, di conseguenza, dei nostri futuri medici organizzando in 25 Corsi di Laurea un progetto pilota centrato sul Progress Test somministrato a studenti del primo, quarto e sesto anno di corso.

I principali obiettivi che erano alla base di questo progetto pilota erano i seguenti: 1) capire e verificare se l’acquisizione cognitiva delle informazioni ottenute nel corso degli insegnamenti è una variabile continua oppure no; 2) valutare se vi è una perdita di conoscenze relative alle Scienze di Base nel corso degli ultimi anni del curriculum medico; 3) promuovere la responsabilità dello studente verso un’auto-valutazione oggettiva della propria preparazione, così da renderlo capace di porre autonomamente rimedio alle carenze della propria preparazione; 4) valutare se il Progress Test possa essere considerato una possibile forma di valutazione routinaria (annuale) nel corso di laurea; 5) fornire un’occasione per riflettere sulla struttura del curriculum valutando l’eventualità di attuare azioni correttive.

I risultato ottenuti in quel primo “progetto pilota”, che coinvolse 3496 studenti, indicarono che la performance globale, nonché quella nella vasta maggioranza degli ambiti disciplinari, tende ad aumentare con l’avanzamento degli studenti attraverso il curriculum formativo.

Da allora la CPPCLMM&C ha inserito il Progress Test tra i metodi di valutazione degli studenti per le Facoltà di Medicina e Chirurgia. C’è stato man mano un aumento delle Facoltà e degli studenti crescente che nel nono anno di utilizzo del Progress Test è arrivato a 22955 studenti.

Inoltre nella fine dell’agosto 2014, durante il congresso internazionale dell’AMEE (An International Association for Medical Education), abbiamo avuto la possibilità durante un simposio dedicato (Progress Testing In Italian Medical Schools: An 8 Year National Experience), di poterci confrontare con esperti dell’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR) e di altre università europee come l’Università “Charité” di Berlino e quella Olandese di Maastricht. Da questo simposio è sicuramente emerso come l’esperienza italiana sia assolutamente di esempio alla comunità internazionale.

Di seguito verrà brevemente ricordata la metodologia del PT e focalizzati i risultati dell’ultimo PT 2014.

Modalità di svolgimento del Progress Test in Italia

Il test è sostenuto in due tempi: dalle 9:00 alle 12:00 la prima parte e dalle 14:00 alle 17:00 la seconda, mediamente con 80 secondi di tempo per rispondere a ciascuna domanda.

Il test viene somministrato in tutta Italia nello stesso giorno (in genere un mercoledì dei primi 15 giorni di novembre) in contemporanea con un sistema di controllo attento che non permette a nessun Corso di Laurea di conoscere le risposte alle domande.  Inoltre le domande vengono cambiate ogni anno e trasmesse ai Corsi di laurea con tempistiche strettissime per evitare ogni tipo di possibile diffusione agli studenti.  Esiste un coordinamento centrale che mantiene la segretezza del tutto e che si occupa anche di istruire tutto il personale coinvolto nelle varie sedi.

Il test è composto da 300 domande del tipo a scelta multipla (“nozionistiche”  e “di ragionamento”) come quello effettuato alla McMaster University in Canada.

Le domande sono divise per ambiti disciplinari (Tabella 1):  150 nell’area delle Scienze di Base (Pre-cliniche) e 150 nell’Area Clinica.

Schermata 2016-01-15 alle 11.00.37

In quest’ultimo anno le domande sono state frutto di un corposo coinvolgimento di tutti i docenti dei diversi corsi di Laurea Italiani che hanno prodotto il 75% delle domande somministrate dopo un attento controllo da parte della commissione centrale.  Si è cercato quindi di armonizzare al massimo le domande con i curricula formativi di tutte le realtà italiane.

Per il risultato del test sono valutate solo le risposte corrette alle quali è attribuito un punto.

La Conferenza nel 2011 alla luce dei suggerimenti della pedagogia medica, che sostiene che attribuire un punteggio che consideri sia le domande corrette (in positivo) che quelle sbagliate (in negativo) è il metodo di valutazione più appropriato perché evita risposte “a caso” decise di sperimentare anche tale valutazione.   In quell’anno, quindi, i risultati sono stati analizzati togliendo un punto per ogni risposta sbagliata. Tuttavia, l’analisi della performance globale e quella concernente le singole aree tematiche è stata sovrapponibile a quella degli anni precedenti togliendo ogni dubbio sulla possibilità di risposte a caso.

Dal 2011, quindi, sono valutate solo le risposte esatte.

Dopo la valutazione di tutti i dati locali e nazionali, gli studenti di ciascuna sede sono informati del loro risultato (mantenendo il loro anonimato se la pubblicazione dei risultati avviene in rete).

Ogni sede ottiene quindi delle informazioni sia in forma aggregata (numerica) che analitica rispetto agli ambiti culturali presi in considerazione.  A livello centrale è poi elaborata una media nazionale con la quale ogni sede può paragonare i risultati ottenuti dagli studenti dello stesso anno della propria Facoltà. Inoltre, all’interno di ogni Corso di Laurea sono discussi con i Docenti i dati statistici sull’andamento degli studenti nell’ambito di ogni disciplina nei diversi anni di corso. Infatti, la Conferenza in questi tanti anni di lavoro e sperimentazione è sempre più convinta che sia senz’altro vero che “assessment drives learning” ma che è altrettanto vero anche che “assessment drives teaching” ossia che ogni processo innovativo di valutazione dello studente realmente spinge il Docente a fare cambiamenti migliorativi nel curriculum.

Il Progress test 2014 – Metodi ed Analisi dei dati

Come ogni anno, anche nel 2014, è stato condotto, su iniziativa della Conferenza dei Presidenti di Corso di Laure in Medicina e Chirurgia il nono PT (12 Novembre 2014).

Dei 50 Corsi di laurea italiani, 44 (88%) hanno partecipato all’ultimo progress test. I sei CLM mancanti non hanno potuto partecipare per problemi di tipo logistico e/o organizzativo.

La difficoltà tecnica di somministrare il PT è dovuta soprattutto alla assoluta necessità di avere personale addestrato per la organizzazione, disponibilità di aule e di supporto elettronico per la correzione dei compiti. E’ da segnalare, tuttavia, che moltissime sedi provvedono da sempre alla correzione manuale con griglia degli elaborati e che questa incombenza è spesso svolta dai Docenti stessi.

Come ogni anno, su delega della Conferenza, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT.   La considerazione dell’utilità di tale metodologia di valutazione è sempre più diffusa tra i Docenti ed anche NEL 2014 si è osservato un aumento delle sedi che hanno deciso di somministrare il Test a più anni i di corso.

Schermata 2016-01-15 alle 14.21.44

In totale, sono stati coinvolti 228 anni accademici nelle 44 sedi partecipanti.

Come riportato nella Figura 1, più del 68% dei corsi di Laurea ha somministrato il PT ai 6 anni di corso e l’11% ad almeno 5.

La numerosità totale degli studenti partecipanti in questi anni di sperimentazione è stata sempre crescente. Infatti, come riportato nella figura 2, dal 2007, usciti dalla fase del progetto pilota, è andato crescente il numero degli studenti partecipanti da 7930 del 2007 ai 22955 del 2014. Il motivo della piccola flessione, sia del numero di studenti partecipanti che dei corsi di laurea partecipanti, osservabile nel 2013 è stato dovuto ad un improvviso problema organizzativo.

La percezione dell’importanza del PT da parte dei Presidenti e dei Docenti partecipanti al PT è stata trasferita in maniera significativa agli studenti considerando un incremento del 31% nella popolazione totale di studenti partecipanti rispetto all’anno precedente. Inoltre dai 23 corsi di laurea partecipanti nel 2007 si è arrivato al coinvolgimento di 44 corsi di laurea italiani.

La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Figura 3).

Nella Figura 4, è osservabile che tale percentuale raggiunge valori altissimi considerando gli studenti iscritti al primo anno di corso con una percentuale media che nel gli ultimi 3 anni di esercizio è stata superiore al 70%. Così come la numerosità degli studenti partecipanti negli ultimi due anni di corso rappresenta sicuramente la considerazione da parte dello studente del significato progettuale del PT, non vi è dubbio che questa ampia partecipazione del primo anno rappresenta la volontà del Presidente e del suo Corso di Laurea.

Analisi dei Risultati del Progress Test 2014 per anno di corso e per Tipologia di domande (ambito di Scienze di Base e Scienze Cliniche)

Nella figura 5 sono riportate le medie dei risultati ottenuti per le scienze di base e per quelle cliniche ottenute dai 44 CLMs che hanno partecipato al PT 2014.

Importante evidenziare come vi sia un graduale miglioramento della percentuale media delle risposte esatte andando dal primo al sesto anno; tale dato è assolutamente confortante e corrobora la capacità dei nostri core curriculum di portare lo studente al raggiungimento degli obiettivi didattici. E’ tuttavia ancora più importante porre l’accento come sussista anche il mantenimento delle conoscenze arrivando al sesto anno a più del 50% di percentuale media di risposte giuste.

Tale osservazione era riprodotta in tutte le discipline individuali delle scienze di base e delle scienze cliniche.

Per valutare meglio il dato abbiamo analizzato le diverse percentuali osservate solo considerando gli studenti iscritti al sesto anno di corso nei 44 Corsi di Laurea che hanno condotto il PT al sesto anno. Per le scienze di base la media nazionale è stata circa del 52% con una deviazione standard di circa il 10.8%. In modo simile si comporta quella delle scienze cliniche dove, come osservabile in Figura 6, la media era del 51.2% ma con una deviazione standard del 11.3%. Il PT 2014 al suo decimo anno sembra rappresentare per i Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea.

Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test Finale sta diventando una probabile realtà e forse una necessaria realtà alla luce dei “soliti” risultati dell’esame di abilitazione che anche quest’anno hanno dato delle percentuali di abilitata vicine al 99%. Questa percentuale non rappresenta una realtà e soprattutto non considera che la valutazione è una componente critica dell’insegnamento.

E’ quindi mandotario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia, che il PT ormai evenienza routinaria e capo saldo della formazione dei nostri studenti, futuri professionisti della salute diventi il prossimo modello per un corretto esame di abilitazione.

 

Bibliografia

  1. Mennin SP, Kalishman S. (1998). Student assessment. Acad Med.;73(9 Suppl):S46-54.
  2. Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students. Med Educ. ;17: 165-171.
  3. Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane. Med Chir 49; 2123-2130.
  4. Recchia L, Moncharmont B. (2011) Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51, 2237-2242.

Cita questo articolo

Tenore A., Basili S., Lenzi A., Il progress test, dal novembre 2006 al novembre 2014, Medicina e Chirurgia, 68: 3089-3093, 2015. DOI:  10.4487/medchir2015-68-3

Il Progress Test 2013n.64, 2014, pp.2893-2900, DOI: 10.4487/medchir2014-64-4

Abstract

The Progress Test (PT) is a particular type of examination that recognizes particular and distinctive characteristics such as: (a) students cannot specifically study for the test but can only prepare to take the exam by continuously following and studying their individual courses on a day- by-day basis and (b) the PT covers subject matter that spans the entire 6 years of study. These two characteristics allow for the opportunity (a) to assess students’ accumulated knowledge at any particular time in the course of their studies, and (b) to evaluate their analytical and reflective abilities. The use of this powerful tool goes beyond the simple evaluation of a single medical-related discipline or subject; rather, it concentrates on the overall objectives of the entire 6 year medical curriculum by focusing on how knowledge is integrated and used in an holistic manner.

In 2013, 17,486 medical students from 37 Italian Medical Schools took the PT for the eight year in a row. The students who participated spanned the full 6 years of the Italian medical curriculum. As usual, the exam was administered in the month of November which is close to the beginning of the academic year.  The test was composed of 300 questions equally divided between the Basic and Clinical Sciences, with each section administered over a 3-hour period for a total of 6 hours of examination time.

An analysis of the current results can best be understood by comparing them with those of previous PT’s. The data presented tend to give an overall idea of both the national as well as local outcomes.   Although the results may tend to be thought of as reflecting the progressive acquisition of knowledge and the learning outcomes of our students, underneath it all, they may in reality, be reflecting our teaching methods and content delivery.  Data obtained from consecutive PT’s have been very useful to better understand the principal objective of the PT which is to continuously improve both the learning abilities of our students, as well as the teaching qualities of our professors.

Articolo

Introduzione

Il 13 novembre 2013 è stato condotto in molte Facoltà di Medicina e Chirurgia Italiane l’ottavo Progress Test (PT). Il PT rappresenta un metodo essenziale per la valutazione del miglioramento e del mantenimento, durante i sei anni di corso, delle conoscenze che porteranno poi al raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.

Schermata 2015-01-20 alle 12.08.04

Il PT  com’è noto, è adesso incorporato nel curriculum medico di diverse Università americane ed europee. Una delle sue caratteristiche peculiari è rappresentata dal fatto che lo studente non può “prepararsi per il PT”, nel senso che non ha indicazioni preliminari sulle domande che saranno somministrate, ma conosce soltanto gli ambiti disciplinari sui quali saranno sviluppate le domande.  Altra caratteristica peculiare è quella che il risultato e la valutazione del PT sono basati solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.

Schermata 2015-01-20 alle 12.08.21

Negli ultimi otto anni nelle Facoltà di Medicina e Chirurgia italiane, il PT, come riportato nella Tab. 1, è stato sempre svolto nel mese di novembre.

Nel 2006 parteciparono il 55% delle Facoltà in Medicina e Chirurgia (25 dei CLMMC attivi); nel 2013, ottavo anno di PT, il 73% (37 dei 51 CLMMC attivi).

Il quarantotto CLMMC (il 94% del totale) avevano inizialmente aderito, ma ben 11, per motivi organizzativi, non hanno potuto partecipare.

E’ da segnalare che nel corso di questi otto anni di osservazione soltanto un Corso di Laurea non ha mai partecipato al PT.

Metodi e Risultati

Come negli scorsi anni il PT è stato composto da 300 domande a scelta multipla, con una sola risposta giusta sulle cinque proposte. Le prime 150 domande relative alle Scienze di base sono somministrate in tre ore nel corso della mattina del giorno prescelto; le successive 150, inerenti le Scienze cliniche, nel pomeriggio.

Nella Tab. 2, viene riportato il numero delle domande per aree disciplinari.

Schermata 2015-01-20 alle 12.08.40

Coinvolgimento dei diversi anni di corso

Il 73% dei corsi di Laurea ha somministrato il PT in tutti i sei anni di corso.

La Fig. 1 riporta il numero di anni di corso coinvolti negli otto anni in cui si è svolta l’esperienza.

Schermata 2015-01-20 alle 12.08.57

Fig. 1

Come si può notare dal 2006 ad oggi si è osservato un coinvolgimento sempre più numeroso di tutti gli anni di corso, con un aumento significativo (+17%) soprattutto al primo anno.

In particolare, dei 37 CLMMC, 28 hanno condotto il test a 1° anno, 34 al 2° anno, 35 al 3°, 35 al 4°, 36 al 5° e 35 al 6° anno per un totale di 203 anni accademici. E’ evidente come quasi tutti i corsi tranne due abbiamo somministrato il PT dal 3° al 6° anno consentendo una elaborazione interna del PT e non solo nazionale.

Nonostante la mancanza di 11 CLMMC, inizialmente aderenti, la numerosità totale degli studenti partecipanti è stata simile a quella registrata nel 2012 (17486 vs. 18687, -6%) quando i CLMMC partecipanti erano 41.

La partecipazione al Progress test, che è attualmente su base volontaria in quasi tutte le sedi, dimostra incrementi in anni di corso peculiari. Infatti proprio all’inizio del percorso di studi, ossia al primo anno, si è osservato (Fig. 2) un incremento del 9%, rispetto all’anno precedente ed alla fine del percorso, ossia al 6° anno, un incremento ancora più ragguardevole.

Schermata 2015-01-20 alle 12.09.19

Fig. 2

Da questo si evince come pian piano i nostri studenti comincino ad avvertire l’importanza di questa sperimentazione. Se si considera che nell’esercizio 2006, si poteva contare su una popolazione di poco più di 3000 studenti, nell’ottavo anno di esercizio tale popolazione si è quasi sestuplicata.

Infatti, come si osserva nella fig. 3, la partecipazione degli studenti rispetto a quella attesa è stata,  in questo ultimo anno di esercizio intorno al 54%.

Schermata 2015-01-20 alle 12.09.31

Fig. 3

Schermata 2015-01-20 alle 12.09.45

Fig. 4

 

La figura 4 confronta l’esercizio 2012 con quello del 2013 mostrando che anno dopo anno si conferma che la partecipazione si aggira sempre tra il 50 ed il 60% per gli anni centrali del corso di studi e si intensifica nel primo e nel sesto anno.

Analisi dei risultati per anno di corso

Nella figura 5 è riportato il numero dei partecipanti alle due tipologie di esame (Scienze di Base e Scienze Cliniche).

Schermata 2015-01-20 alle 12.09.57

Fig. 5

Quest’anno, si è osservata una leggera tendenza alla maggiore partecipazione ai test concernenti le Scienze di Base anche se con minime differenze.

Questo potrebbe riflettere la difficoltà di una piccola percentuale di studenti a sostenere nella stessa giornata, il test relativo alle Scienze di base al mattino e quello delle Scienze cliniche nel pomeriggio.

Considerando la media della percentuale delle risposte corrette di tutti gli anni (Fig. 6) e confrontandola con quelle ottenute nel 2012 e nel 2011 (anno quest’ultimo in cui non fu coinvolto il primo anno di corso), si osserva un incremento della media nel 2013 rispetto al 2012 e una sovrapposizione di dati rispetto al 2011.

Schermata 2015-01-20 alle 12.10.09

Fig. 6

Schermata 2015-01-20 alle 12.10.22

Fig. 7

Prendendo in considerazione il dettaglio per singolo anno di corso (Fig. 7, barre in bianco) in relazione alle Scienze di Base, il PT 2013 ci ha mostrato che per il primo anno la media delle risposte giuste è simile a quella del 2012, mentre dal II al VI anno è sempre più alta del 4-6% rispetto a quella rilevata nel 2012.

Inoltre, guardando il grafico riportato nella figura 8, è evidente la progressione del numero delle risposte giuste dal primo al sesto anno di corso a riprova della capacità di mantenimento ed incremento negli anni delle nozioni di base.

Schermata 2015-01-20 alle 12.10.35

Fig. 8

Per quanto riguarda invece le Scienze Cliniche, si è messo in evidenza un deciso divario rispetto al 2012, con una media del 22,5% (DS: 9,3%) rispetto al 31.6% (DS: 15.6%) del 2012.

Questo comportamento, che appare evidente nella figura 9, è presente in tutti gli anni di corso analizzati, seppur esista un incremento medio passando dal triennio pre-clinico a quello clinico.

Schermata 2015-01-20 alle 12.10.51

Fig. 9

Al momento della stesura di questo articolo non sono attualmente disponibili i dati relativi alle percentuali delle risposte esatte, stratificate  per aree disciplinari nei sei anni del corso di laurea.

Analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC

L’analisi molto puntiforme, relativa alla valutazione delle competenze al sesto anno è riportata nella figura 10.

Schermata 2015-01-20 alle 12.11.08

Fig. 10

I vari CLMMC sono indicati con un numero progressivo per cui è impossibile individuarli. Tuttavia, com’è estrapolabile dalla figura, comportamenti particolarmente anomali sono presenti soltanto in alcuni casi. Vi è poi da segnalare che vi è un corso di laurea (n° 7) nel quale la media delle risposte sia delle scienze di base che di quelle cliniche è bassissima rispetto a quella nazionale riscontrata al sesto anno. Vi sono infine corsi di laurea, dove la media delle risposte alle scienze di base supera notevolmente la deviazione standard.

Dati più dettagliati su questi otto anni di sperimentazione, presentati ad una Special Conference del Congresso internazionale dell’AMEE, tenutosi a Milano dal 30 Agosto al 3 settembre, verranno commentati successivamente da Alfred Tenore.

Conclusioni

Il PT 2013 ha mostrato un aumento significativo del numero di studenti, più evidente per quelli  iscritti al primo e al sesto anno di corso, malgrado l’assenza, all’ultimo momento, per problemi organizzativi, di ben 11 corsi di laurea.

Questo probabilmente è dovuto alla capacità degli studenti e dei docenti di aver finalmente compreso il significato del PT.

Siamo quindi fiduciosi che anche nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, il PT possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea. Partecipare al PT è per lo studente uno strumento per migliorare la propria formazione e per il Corso di Laurea un mezzo per migliorare l’iter educativo (assessment drives curricular improvements).

Dopo otto anni di applicazione la CPPCLM&C è fiduciosa che il PT, nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, rappresenti un test affidabile per la valutazione delle conoscenze acquisite durante il corso di laurea, tanto che nel 2010 ha proposto al MIUR che, a valle dei sei anni, l’ultimo PT divenga una delle due tappe dell’esame di abilitazione (settimo PT), accanto alla valutazione delle abilità professionali.

Tale ipotesi è divenuta una realtà (una Commissione ad hoc è stata costituita) ed anche una necessità, alla luce dei ben noti risultati dell’esame di abilitazione che ogni anno non riescono a discriminare la preparazione dei nostri laureati con percentuali di abilitati che si avvicinano al cento per cento dei valutati.

Bibliografia

1) Mennin SP, Kalishman S. (1998). Student assessment. Acad Med.;73(9 Suppl):S46-54.

2) Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students. Med Educ.;17: 165-171.

3) Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane. Med Chir 49; 2123-2130.

4) Recchia L, Moncharmont B. Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51, 2237-2242.

Cita questo articolo

Tenore A., Basili S., Lenzi A., Il Progress Test 2013, Medicina e Chirurgia, 64: 2893-2900, 2014. DOI:  10.4487/medchir2014-64-4

Il Progress Test 2012n.60, 2013, pp.2699-2704, DOI: 10.4487/medchir2013-60-4

Abstract

A Progress Test (PT), currently incorporated in different American and European Medical Schools, is a longitudinal, educational assessment tool designed to give feedback to students regarding their progressive acquisition of cognitive knowledge during a learning process.  It is a written knowledge exam (usually involving multiple choice questions) that is usually administered to all students, at the same time and at regular intervals  throughout the entire academic program. The peculiarities of a PT is, first, that students cannot specifically study for it and thus their results reflect the knowledge they have been able to acquire for the specific year of study, and second, that it samples the complete knowledge domain expected of new graduates on completion of their course, regardless of the year level of the student. 

The differences between students’ knowledge levels are reflected in the test scores; the further a student has progressed in the curriculum the higher the scores. As a result, these scores provide repeated longitudinal measurements, curriculum-independent, of the objectives (in knowledge) of the entire program. 

In 2012, 80% of the Italian Medical Schools administered the seventh PT to 18,687 students enrolled throughout the 6 years of medical training.  Three hundred questions, equally divided into two groups, Basic Sciences and Clinical Sciences, were administered over a 6-hour period divided into a 3-hour morning (Basic Sciences) and afternoon (Clinical Sciences) session. The information acquired from Progress Tests is useful not only to better comprehend the progress of students but also to understand teaching programs/methods used in order to fulfill the objectives of Italian Medical Schools to introduce appropriate learning and teaching interventions aimed at continuously improving the quality of the Italian medical graduate.   

Articolo

Introduzione

Le Facoltà di Medicina e Chirurgia italiane dall’Anno Accademico 2006/2007 hanno incluso il Progress Test tra gli strumenti indispensabili per la valutazione longitudinale delle conoscenze degli studenti(1-4).  Il Progress Test (PT), già incorporato nel curriculum medico di diverse Università americane ed europee, ha delle caratteristiche peculiari che trovano i loro capisaldi nel fatto che (i) lo studente non può prepararsi specificamente per il PT e che (ii) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.

La somministrazione del PT nei primi 20 giorni del  mese di novembre a tutti gli studenti dei 6 anni di corso permette di poter valutare il mantenimento delle conoscenze che sono il viatico per il raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.

Come ogni anno, anche nel 2012, è stato condotto, su iniziativa della Conferenza dei Presidenti di Corso di Laurea in Medicina e Chirurgia, il settimo PT che si è svolto il 14 Novembre 2012.

Metodi e Risultati

Come negli scorsi anni il PT è stato composto di 300 domande a scelta multipla.  Le prime 150 domande riguardano le scienze di base e sono somministrate in 3 ore nel corso della mattina. Le successive 150 domande, somministrate nel pomeriggio, sono inerenti le scienze cliniche. Nella Tabella 1 è riportata la numerosità delle domande per aree disciplinari.  Per ogni domanda esiste una sola risposta giusta ed ad ogni risposta giusta viene assegnato un punto.  Non sono valutate le risposte sbagliate.

TAB1 TBM

Nel 2012, l’80% dei corsi di Laurea ha partecipato al PT.

Di seguito verranno riportati i risultati ottenuti nei 41 corsi partecipanti.

Al settimo progress test, 8 corsi di laurea non hanno potuto partecipare per motivi strettamente tecnici dovuti soprattutto alla difficoltà di reperire una idonea organizzazione per l’ottimo svolgimento del PT.  Da segnalare, tuttavia, che nel corso di questi anni solo 2 sedi non hanno mai partecipato al PT (Università di Pavia ed Università di Varese).

La difficoltà tecnica di somministrare il PT è dovuta soprattutto alla assoluta necessità di avere personale addestrato per l’organizzazione, la disponibilità di aule e di supporto elettronico e per la correzione dei compiti.  È da segnalare, tuttavia, che moltissime sedi provvedono da sempre alla correzione manuale con griglia degli elaborati e che questa incombenza è spesso svolta dai Docenti stessi.

Come ogni anno, su delega della Conferenza, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT. La considerazione dell’utilità di tale metodologia di valutazione è sempre più diffusa tra i Docenti ed anche quest’anno si è osservato un aumento delle sedi che hanno deciso di somministrare il Test a più anni di corso. In totale, sono stati coinvolti 194 dei 246 (79%) anni accademici nelle quarantuno sedi partecipanti.

Come riportato nella Fig. 1, ben il 56% dei corsi di Laurea ha somministrato il PT ai 6 anni di corso. Il 22% dei Corsi di Laurea ha coinvolto almeno 5 anni di corso,  il 19.5% ha coinvolto almeno 2 anni di corso.

Fig1 TBP

Nonostante la mancanza, rispetto agli anni precedenti, di 8 Corsi di Laurea, la numerosità totale degli studenti partecipanti è stata tra la più alta di questi sette anni di sperimentazione (Fig. 2). La percezione dell’importanza del PT da parte dei Presidenti e dei Docenti partecipanti al PT è stata trasferita in maniera significativa agli studenti considerando un incremento del 22% nella popolazione totale di studenti partecipanti tra il 2010 e 2012. Tale considerazione è estrapolabile soprattutto dal notevole risultato ottenuto negli ultimi anni di corso che comprendono studenti che hanno effettuato il PT già dal loro primo anno e che sono consapevoli della sua importanza e significato.

Fig2 TBM

Rispetto al 2011, c’è stato un incremento del 16% al 2° anno ma solo del 2% ed 1% al 3° e 4° anno rispettivamente. L’aumento maggiore si è verificato al 5° anno (+29%) ed al 6° anno  (+24%).

Se si considera che dopo il primo anno di sperimentazione, ossia nell’esercizio 2007, si poteva contare su una popolazione di studenti, iscritti dal 1° al 6° anno di Medicina, di 7930, nel settimo anno di esercizio, tale popolazione si è molto di più che raddoppiata (18687)  (Fig. 2).

La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Fig. 3); nel 2012 tale percentuale è stata del 50.6%

Fig3 TBM

Fig4 TBM

Nella figura 4, è osservabile che tale percentuale raggiunge valori altissimi considerando gli studenti iscritti al primo anno di corso con una percentuale che si avvicina al 68%.  Così come la numerosità degli studenti partecipanti negli ultimi due anni di corso rappresenta sicuramente la considerazione da parte dello studente del significato progettuale del PT, non vi è dubbio che questa ampia partecipazione del primo anno rappresenta la volontà del Presidente e del suo Corso di Laurea.

Analisi dei risultati per anno di corso e per tipologia di domande

Nella figure 5,6,7,8 sono riportate le percentuali delle risposte corrette in relazione alle due tipologie di esame (Scienze di base e Scienze cliniche) e confrontate con quelle ottenute nel 2011 (Figg. 5 e 6) e con la media dei 7 anni di sperimentazione (Figg. 7 e 8).

Come osservabile, le percentuali ottenute nelle domande concernenti le scienze di base  nel 2012 sono in media più basse di quelle ottenute nel 2011 con una uguaglianza o superiorità osservabile solo nel 2° e 3° anno.

Fig5 TBM

Fig6 TBM

Per quanto riguarda invece le scienze cliniche, il dato percentuale sembra essere sempre superiore rispetto a quello osservato nei diversi anni di corso nel 2011. Tale dato è confermato in tutte le discipline individuali che compongono questa porzione del PT fatta eccezione per le scienze del comportamento che hanno mostrato un significativo decremento nel numero di risposte esatte in tutti gli anni di corso.

Come osservabile nella figura 7 il dato relativo alle scienze di base sembra essere costante e riproducibile dal 2006 al 2012, tranne per gli anni 2006, 2007 e 2011 che hanno percentuale più alta di circa il 10% rispetto agli altri anni. Interessante notare che durante questi tre anni la percentuale di domande nozionistiche, rispetto a quelle deduttive, era circa il 10% in più.

Fig7 TBM

Nella figura 8, è invece da notare come l’andamento della percentuale di risposte esatte relativo alle scienze cliniche nei diversi anni di corso riflette più o meno quello delle scienze di base con un aumento di circa il 10% negli stessi tre anni (2006, 2007 e 2011) tranne per i risultati del 2012 dove, anche se la percentuale di domande deduttive era del 10% in più rispetto a quelli del 2006, 2007 e 2011, i risultati mostrano valori uguali a questi tre anni se non addirittura più alti.

Fig8 TBM

Tale osservazione era riprodotta in tutte le discipline individuali delle scienze cliniche.

Per valutare meglio questa particolare distribuzione abbiamo analizzato le diverse percentuali osservate solo considerando gli studenti iscritti al sesto anno di corso nei 35 Corsi di Laurea che hanno condotto il PT al sesto anno.

Per le scienze di base (Fig. 9) la media nazionale è stata circa del 44% con una deviazione standard di circa il 12%.

Fig. 9 - Andamento della percentuale delle risposte corrette nelle scienze di base nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno.

Fig. 9 – Andamento della percentuale delle risposte corrette nelle scienze di base nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno.

Ben diversa la distribuzione riguardante le scienze cliniche dove, come osservabile in Figura 10, la media era del 48% ma con una deviazione standard vicina al 20%.

Fig. 10 - Andamento della percentuale delle risposte corrette nelle scienze cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea.

Fig. 10 – Andamento della percentuale delle risposte corrette nelle scienze cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea.

Tale ampia deviazione standard potrebbe essere attribuibile a circa 4-5 Corsi di Laurea nei quali si sono osservate percentuali vicine al 90% di risposte esatte che non solo riguardavano gli ultimi due anni ma anche gli anni iniziali.

Tale dato, rappresenta sicuramente un outlier da non considerare ai fini del buon comportamento generale ed attribuibile a qualche particolare situazione che potrebbe aver contaminato il risultato del test e che, inoltre, potrebbe spiegare l’inaspettata aumentata differenza nella percentuale di risposte corrette nell’esame del 2012 (Fig. 8). Infatti, nella figura 11, che contiene entrambi gli andamenti per i due gruppi di domande, si potrà osservare che in quelle Facoltà con risultati nelle scienze cliniche inaspettatamente alti, la mattina (scienze di base) ha dato risultati sovrapponibile al resto d’Italia mentre il pomeriggio (scienze cliniche) c’è stato questo diverso comportamento. Purtroppo forse è da considerare che, negli ultimi anni alcune Facoltà hanno incentivato la partecipazione al Progress Test con particolare valore al fine del punteggio dell’esame di Laurea senza prendere in considerazione la particolare capacità dello studente medio di ricorrere a tecniche sopraffini per arrivare al risultato.  Questo a significare che la prossima missione della Conferenza, nel momento che la Commissione per l’abilitazione alla professione medica sta lavorando per trasferire l’esperienza del Progress Test all’esame di abilitazione, dovrà essere quella di tutelare l’ottimo e corretto svolgimento del Progress Test.

Fig. 11 - Paragone dell’andamento della percentuale delle risposte corrette sia nelle scienze di base che in quelle cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea. Gli ovali mettono in evidenza l’enorme discrepanza tra i risultati nella parte clinica rispetto alla parte di base.

Fig. 11 – Paragone dell’andamento della percentuale delle risposte corrette sia nelle scienze di base che in quelle cliniche nei 35 corsi di laurea che hanno fatto sostenere l’esame agli studenti iscritti al 6° anno. La figura indica anche il numero di studenti che hanno sostenuto l’esame in ciascuno dei 35 corsi di laurea.
Gli ovali mettono in evidenza l’enorme discrepanza tra i risultati nella parte clinica rispetto alla parte di base.

Conclusioni

Il PT 2012 ha mostrato un aumento della numerosità degli studenti partecipanti. Dopo 7 anni di sperimentazione cominciamo veramente ad essere fiduciosi che il PT, nei Corsi di Laurea Magistrale in Medicina e Chirurgia in Italia, possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea.

Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test finale sta diventando una probabile realtà e forse una necessaria realtà alla luce dei “soliti” risultati dell’esame di abilitazione che anche quest’anno hanno dato delle percentuali di abilitati vicine al 99%. Questa percentuale non rappresenta una realtà e soprattutto non considera che la valutazione è una componente critica dell’insegnamento. E’ quindi mandatario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia, che il PT, ormai evenienza routinaria e capo saldo della formazione dei nostri studenti, prossimi professionisti della salute, diventi il futuro modello di un corretto esame di abilitazione. Partecipare al PT potrebbe diventare, per lo studente, uno strumento per migliorare la propria formazione (assessment drives learning) e, per il Corso di Laurea, un mezzo per migliorare l’iter educativo (assessment drives curricular improvements).

Bibliografia

1. Mennin SP, Kalishman S. (1998). Student assessment. Acad Med. 73(9 Suppl):S46-54.

2. Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students.  Med Educ. 17: 165-171.

3. Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane.  Med Chir 49: 2123-2130.

4. Recchia L, Moncharmont B. (2011) Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise. I risultati del Progress Test. Med Chir 51: 2237-2242.

Cita questo articolo

Tenore A., Basili S., Proietti M., Il Progress Test 2012, Medicina e Chirurgia, 60: 2699-2704, 2013. DOI:  10.4487/medchir2013-60-4

Il progress Test 2011n.56, 2012, pp.2487-2509, DOI: 10.4487/medchir2012-56-5

Abstract

The Progress Test (PT) represents a longitudinal knowledge evaluation method which is currently incorporated in the medical study courses of different American and European Universities. PT recognizes particular and distinctive characteristics such as: (a) students cannot specifically study of the test but can only prepare to take the exam by continuously following and studying their individual courses on a day-by-day basis and (b) the PT covers subject matter that spans the entire 6 years of study.  These two characteristics, allow the opportunity to (a) evaluate students accumulated knowledge at any particular time in the course of their studies, and  (b) the acquisition of data about students analytical and reflective abilities.  The use of this powerful tool goes beyond the evaluation of a single medical-related discipline or subject; it concentrates on the overall objectives of the 6 years course of study by looking how knowledge is integrated and used in a holistic manner.

In 2011 medical students in Italy took the sixth PT.  45 Italian Medical Faculties participated and 13991 students, enrolled from the second to the 6th years sat for the exam all over Italy. The exam was administered, as usual, in the month November, which is close to the beginning of the academic year.  The test was composed of 300 questions, equally divided between the two groups, Basic Sciences and Clinical Sciences, each section administered over a 3 hour period for a total of 6 hours of examination time.

An analysis of the current results can best be understood by comparing them with previous PT’s and tends to give an overall national, as well as local picture that although, superficially may appear to reflect the learning outcomes of our students, underneath it all may be truly reflecting our teaching methods and content.  Data obtained from consecutive PT’s are very useful to, ultimately, better understand the principal objective of the PT which is to continuously improve both the teaching as well as learning qualities of our professors and students respectively.

Articolo

Introduzione

Il 15 novembre 2006 è stato condotto il molte Facoltà di Medicina e Chirurgia il primo Progress Test che  rappresenta un metodo di valutazione longitudinale delle conoscenze ed è attualmente incorporato nel curriculum medico di diverse Università Americane ed Europee.  Il Progress Test (PT) ha come caratteristiche peculiari che (i) lo studente non può prepararsi per il PT e che (ii) la valutazione è basata solo sulla capacità dello studente di acquisire e ritenere le conoscenze riguardo agli obiettivi del curriculum formativo globale e non del singolo corso integrato.

Il PT rappresenta quindi un metodo essenziale della valutazione del miglioramento e del mantenimento delle conoscenze durante i 6 anni di corso che porteranno poi al raggiungimento della competenza professionale distintiva del laureato in Medicina e Chirurgia.

Il 16 novembre 2011 è stato condotto il 6° Progress Test nelle Facoltà di Medicina e Chirurgia, come riportato nella Tabella 1, consentendo ai Docenti delle Facoltà Italiane di Medicina e Chirurgia di aver per la prima volta una visione completa del percorso dello studente fino ai primi mesi dell’inizio del primo semestre del 6° anno.

Tabella 1- I sei anni di Progress Test

Mercoledì 15 Novembre 2006
Mercoledì 14 Novembre 2007
Mercoledì 12 Novembre 2008
Mercoledì 18 Novembre 2009
Mercoledì 17 Novembre 2010
Mercoledì 16 Novembre 2011

Nel 2006 parteciparono il 55% delle Facoltà in Medicina e Chirurgia (25 CLMMC dei 45 attivi).

Nel 2011 l’84% delle Facoltà in Medicina e Chirurgia ha partecipato al sesto PT; in particolare hanno partecipato 45 dei 51 CLMMC attivi.

Nel corso di questi 6 anni soltanto 2 Corsi di laurea non hanno mai partecipato al PT (Università di Pavia e Università di Varese).

 Progress Test 2011 – Metodi e Risultati

Come negli scorsi anni il PT è stato strutturato in 300 domande a scelta multipla; solo una risposta sulle cinque proposte è quella giusta. Le prime 150 domande riguardano le scienze di base e sono somministrate in 3 ore nel corso della mattina del giorno prescelto. Le successive 150 domande, somministrate nel pomeriggio, sono inerenti le scienze cliniche.

Nella Tabella 2, è riportata la numerosità delle domande per aree disciplinari. La distribuzione delle domande per il 2011 è stata identica a quella del 2010.

Tabella 2: Distribuzione delle domande per aree disciplinari.

Scienze di Base

Totale n=150

Scienze Cliniche

Totale n=150

Morfologia/Biologia 20 Ostetricia e Ginecologia 20
Fisiologia 25 Pediatria 30
Biochimica/Biologia Molecolare/Genetica 25 Medicina Interna e Specialistica 40
Microbiologia/Immunologia 25 Medicina Preventiva 40
Patologia Generale/Fisiopatologia 25 Chirurgia Generale e Specialistica 10
Farmacologia 15 Anatomia Patologica 10
Scienze del Comportamento 15

Dei 45 corsi di Laurea che hanno partecipato al PT nel Novembre 2011, 2 non hanno ad oggi consegnato i risultati pertanto nel momento della stesura di questo articolo verranno riportati i risultati relativi a 43 corsi.

Altra nota metodologica è quella che nello scorso esercizio del PT non è stato incluso nel campione il primo anno di corso.  Questa particolare regola è stata suggerita dalla volontà della commissione di valutare il ruolo del peso da riservare alle risposte sbagliate.  Ai fini della valutazione, in molti modelli internazionali e nazionali, viene data rilevanza anche alle risposte sbagliate considerando che tale risposte vengono scelte a caso dallo studente e possono talvolta dare dei risultati positivi dovuti alla sola casualità.

Questa scelta metodologica è stata fatta per testare la tecnica finale della preparazione e della valutazione del PT in considerazione di un suo possibile utilizzo nelle prove per l’abilitazione professionale degli studenti andando così a modificare l’attuale esame di stato.

E’ stato quindi “risomministrato” un questionario già utilizzato (esercizio 2007) in precedenza al fine di confrontare il diverso peso valutativo nel considerare o non considerare le risposte sbagliate.

 Coinvolgimento dei diversi anni di corso

Come ogni anno, ogni Corso di Laurea ha deciso in maniera autonoma a quale anno di corso fosse somministrato il PT. A sostegno della sempre maggiore comprensione dell’utilità di questo modello valutativo è da segnalare che,  come riportato nella Figura 1, ben il 65% dei corsi di Laurea ha somministrato il PT ai 5 anni di corso. Il 28% dei Corsi di Laurea ha coinvolto almeno 2 anni di corso,  il 5% ha coinvolto almeno 4 anni di corso e soltanto 1 Corso di Laurea ha coinvolto un solo anno.  L’esatta distribuzione dei vari anni di corso coinvolti in relazione a quanto successo nei 5 anni di esercizio del PT precedenti è riportata  nella Figura 2.

Come si può notare dal 2006 ad oggi si è osservato un coinvolgimento sempre più numeroso di tutti gli anni di corso con un aumento significativo (+14%) soprattutto al terzo anno.  In particolare, dei 43 CLMMC, 35 hanno condotto il test al 2° anno, 41 al 3°, 36 al 4°, 33 al 5° e 32 al 6° anno per un totale di 177 anni accademici.  La leggera flessione rispetto allo scorso anno è dovuta in parte alla mancanza della somministrazione al 1° anno di corso.

Figura 1

Figura 2

Per lo stesso motivo, la numerosità totale degli studenti partecipanti è stata leggermente inferiore a quella registrata nel 2010 (15278 vs. 13991) (Figura 3).

Figura 3

Tuttavia, analizzando i dati e considerando il totale dei partecipanti iscritti dal 2° al 6° anno, si è passati dagli 11595 dello scorso anno (2010) ai 13991 del 2011 con un incremento della numerosità totale del 21%.

Nel dettaglio, c’è stato un incremento del 32% al 3° anno (2968 vs. 3929), del 43% al 4° anno (2119 vs. 3032), del 23% al 5° anno (1527 vs. 1876) e del 18% al 6° anno (1312 vs. 1552).

Se si considera che dopo un anno di sperimentazione, ossia nell’esercizio 2007, si poteva contare su una popolazione di studenti, iscritti dal 2° al 6° anno di Medicina, di circa 5000 studenti (precisamente 5426) nel sesto anno di esercizio, ossia nel 2011, tale popolazione si è molto di più che raddoppiata (Figura 3).

La partecipazione degli studenti rispetto al numero potenziale degli iscritti si è sempre comunque attestata nei diversi anni intorno al 50% (Figura 4)

Figura 4

Nell’esercizio 2011 soltanto il 30% circa degli studenti iscritti al quinto-sesto anno di corso ha sostenuto il PT ma  oltre il 50% di studenti iscritti al 2° e 3°anno di medicina ha sostenuto il PT.

Con punte del 61.9% raggiunte dagli studenti totali iscritti al terzo anno di medicina dimostrando anche una sensibilizzazione dello studente rispetto al progress test.  Dapprima lo studente ha apprezzato il valore attribuito come ADE al PT e successivamente ha cominciato a comprendere il valore didattico di tale strumento (Figura 5).

Figura 5

 Analisi dei Risultati per anno di corso- Progress test 2011

Nella Figura 6 sono riportati i numeri relativi ai partecipanti alle due tipologie di esame (Scienze di Base e Scienze Cliniche).

Quest’anno, si è osservata una leggera tendenza alla maggiore partecipazione ai test concernenti le Scienze Cliniche anche se con minime differenze.  Nel proseguimento dell’articolo saranno riportati i risultati del PT 2011 mostrando dapprima l’andamento delle sole risposte corrette paragonandole all’esame del 2007 (successivamente, nel dettaglio, verrà trattato il confronto tra risposte corrette vs. corrette/sbagliate)

Figura 6

Prendendo in considerazione il dettaglio per singolo anno di corso, il PT 2011 ci ha mostrato che:

1)    Per il II anno la media delle risposte giuste per le Scienze di Base è 22,6% (DS: 7.4%), sostanzialmente sovrapponibile al dato determinato l’anno precedente, così come con quello determinato dalla sottomissione dello stesso esame nel 2007, con un delta di solo lo 0,2%.

A fronte di una percentuale simile sul totale delle risposte, le percentuale di risposte giuste nelle varie discipline differisce decisamente da quelle dello scorso anno, mentre risulta sostanzialmente invariata con il 2007. Per quanto riguarda invece le Scienze Cliniche, si è potuto mettere in evidenza un deciso divario rispetto al 2007, con una media del 14,7% (DS: 7,9%) rispetto al 21,2% (DS: 10,8%), con riduzione maggiore delle percentuale di risposte corrette in Ostetricia-Ginecologia, Pediatria, Medicina Interna e Chirurgia Generale, compatibile però con l’anno di corso (Figura 7 e 8).

Figura 7

Figura 8

2)  Nel III anno, i risultati ottenuti hanno mostrato una forte flessione nel numero di risposte corrette con un 32,4% (DS: 8.5%) rispetto al 2007 dove si riportava un 37,3% (DS: 10,6%) di risposte corrette. Il delta aumenta quando si prendono in considerazione le Scienze Cliniche, con un 14,7% (DS: 7,9%) contro il 21,2% (DS: 10,8%), con un calo molto marcato soprattutto nell’area dell’Ostetricia e Ginecologia (Figura 9 e 10).

Figura 9

Figura 10

3)  Nel IV anno la media delle risposte esatte nelle Scienze di Base è stata del 41,1% (DS: 7,9%), decisamente maggiore rispetto allo scorso anno, ma con un delta in diminuzione rispetto ai risultati del 2007, che si attestava al 45,7% (DS: 6,2%).

Come atteso, in questo anno di corso, si può osservare un netto aumento di risposte giuste nelle Scienze Cliniche con un 25,2% (DS: 8,6%), che però risulta essere decisamente più contenuto rispetto a quello dello scorso anno, ma soprattutto rispetto a quello del 2007 che si attestava al 30,9% (DS: 7,4%) (Figura 11 e 12).

Figura 11

 

Figura 12

 

4) Nel V anno la media per le Scienze di Base si attesta al 54,1% (DS: 6.4%) con una netta inversione di tendenza rispetto al 2007, in cui si era osservata una media del 50,2% (DS: 7,6%), che si conferma nelle Scienze Cliniche, con una media del 45,1% (DS: 9,8%) rispetto al 39,8% (DS: 11,0%) del 2007.  Come atteso rispetto agli altri anni, tutte le discipline segnano un netto aumento di risultato positivo, con la Farmacologia che recupera molto terreno rispetto agli altri esercizi. (Figura 13 e 14)

Figura 13

Figura 14

4)  Nel VI anno la media di risposte esatte, per le Scienze di Base, è stata del 54,7% (DS: 6.1%), sostanzialmente sovrapponibile al 2007 che si attestava al 54,9% (DS: 8,2%). Per le Scienze Cliniche, si denota un forte aumento rispetto all’anno precedente, con una media del 49,5% (DS: 9,0%), confermando la sovrapponibilità rispetto al dato del 2007, che arrivava al 49,3% (DS: 12,1%) (Figura 15 e 16).

Figura 15

Figura 16

Analisi delle differenze nei valori medi tra esami valutati solo con risposte corrette ed esami  valutati con risposte corrette/sbagliate.

Fino al 2010 (5° esercizio) abbiamo eseguito gli esami valutando solo le domande corrette.

Quello che è emerso nei primi 5 anni di sperimentazione, confermato anche dall’attuale, è che la percentuale di risposte corrette per anno e disciplina non cambia.

Nella mente degli ideatori del PT il modo ideale di valutazione del PT era di penalizzare i “tentativi di indovinare” la risposta corretta da parte dello studente.

La Conferenza dei Presidenti di Corso di Laurea, in occasione della centoduesima riunione, ha quindi deciso di utilizzare il PT 2011 come modello delle due diverse valutazioni.

Come è possibile osservare nei pannelli che compongono al Figura 17, lo scarto tra la percentuale ottenuta utilizzando la modalità risposte corrette rispetto a quella corrette/sbagliate si è attestato, sia nelle scienze di base che in quelle cliniche, intorno al 10%.  Lo scarto minimo osservato è stato del 9.6% nel test dedicato alle scienze cliniche nel secondo anno.  Lo scarto massimo è stato del 16.7% al quarto anno nelle scienze di base.  Alla luce di tali risultati e considerando l’importanza del Progress Test come mezzo di valutazione della progressione delle conoscenze e soprattutto del mantenimento di queste sembra trascurabile lo scarto medio del 10% rispetto alla grande validità dimostrata in questi 6 esercizi della valutazione.

Figura 17

 

Analisi complessiva (media nazionale) dal primo al sesto anno: confronto con i risultati degli anni precedenti

Il PT 2011, somministrato nella stessa forma del 2007, mentre mostra dati sostanzialmente sovrapponibili per il II anno di corso, soprattutto per le Scienze di Base, che hanno decisamente maggiore peso in questo anno, trova un netto calo di risposte corrette per gli anni centrali, III e IV.

A contraltare di ciò si mette in evidenza come negli ultimi due anni di corso, la forbice del delta si inverta e progressivamente si apra a favore del PT 2011.

Al confronto con gli ultimi due esercizi, 2009 e 2010, si può sottolineare una completa comparabilità per il II e III anno di corso, si va incontro ad un forte aumento delle risposte corrette nel secondo triennio.

Scienze di Base

In base ai dati disponibili, come osservabile nella Figura 18, i dati riferibili alle Scienze di Base mostrano una buona riproducibilità del risultato tra il 2007 e il 2011, con un andamento consensuale in base all’anno di corso. E’ possibile osservare come ci sia invece un netto miglioramento rispetto ai risultati degli esercizi 2009 e 2010, soprattutto negli anni del secondo triennio di corso, probabilmente riflettendo un miglioramento delle capacità deduttive degli studenti che si avvicinano alla fine del corso di studi. Prendendo invece in considerazione le percentuali di punteggio in base alle risposte corrette-sbagliate (Figura 19),

Figura 18

Figura 19

possiamo osservare come se nel II, III e IV anno di corso la media sia molto bassa, con delta rispettivamente del 12,7%, del 15,2% e del 16,7%, suggerendo una importante perdita delle conoscenze nella prima metà del corso di studi, i punteggi relativi agli ultimi due anni, suggeriscono un deciso rafforzamento delle conoscenze, probabilmente implementato dallo studio delle patologie integrate, che gli studenti effettuano durante il IV anno di corso. Tale dato, attestandosi attorno al 40%, rafforza quello della media delle risposte corrette, suggerendo una stabilizzazione delle conoscenze di base nei futuri medici.

Valutando solo le risposte corrette dopo 5 anni di studi sembra essere possibile ritenere il 50% delle conoscenze.  Se si da valore alle risposte sbagliate si raggiunge il mantenimento di circa il 40% delle conoscenze al sesto anno.  In effetti c’è una differenza di solo il 10% tra le due valutazioni.

Scienze Cliniche

Passando alle Scienze Cliniche, com’è osservabile nella Figura 20, continua a mantenersi costante nei primi 3 anni la percentuale delle conoscenze, non disegnando alcuna curva mantenendosi tra il 12% e il 14% poi c’è un progressivo incremento fino a circa il 45% di media, sfiorando però nel 2011 il tanto agognato 50% delle conoscenze.

Analizzando invece il PT 2011 con quelli dell’esercizio 2007, si può notare come i dati siano variamente confrontabili con anni di corso sostanzialmente sovrapponibili, altri in cui nel 2011 si sono identificate medie maggiori di risposte giuste e altri ancora in cui si sono verificate medie minori. È possibile che tale variabilità sia dovuta alla diversa numerosità del campione, considerando che nel 2011 hanno sostenuto il PT quasi tre volte il numero di studenti che lo hanno sostenuto nel 2007.

Andando invece ad analizzare la distribuzione delle medie relative alle risposte corrette-sbagliate (Figura 21), si può notare come i valori, almeno in parte, si comportino esattamente come ci si potrebbe aspettare. Vediamo infatti come al II, III e IV anno di corso le medie dei punteggi delle domande corrette-sbagliate precipitino vertiginosamente con delta superiori al 10%, riflettendo il fatto che fino a quel punto di corso gli studenti non hanno ancora affrontato i corsi integrati relativi alle Scienze Cliniche.

Figura 20

Figura 21

Osservando, invece, i dati relativi al V e al VI anno vediamo come pur essendo incredibilmente più alte le percentuali sia delle sole risposte corrette che delle risposte corrette-sbagliate, resta comunque molto elevato il delta tra i due punteggi, come ad indicare che nonostante sia aumentata la quantità delle conoscenze, resta comunque molto alta la quantità delle risposte che vengono sbagliate dagli studenti. Volendo interpretare tale dato, si può ipotizzare che nonostante si sia arricchita la quantità di nozioni degli studenti, ci sia comunque una quota importante di studenti con un perdita immediata di conoscenze, cosa che emerge ancora più fortemente andando a confrontare le medie del IV e del VI anno di corso.

Anche in questo caso, valutando solo le risposte corrette dopo 5 anni di studi sembra essere possibile ritenere il 50% delle conoscenze.  Se si da valore alle risposte sbagliate si raggiunge il mantenimento di circa il 40% delle conoscenze al sesto anno.  In effetti, c’è una differenza di solo il 10% tra le due valutazioni.

Analisi individuale delle specifiche  aree disciplinari.

La Tabella 3 riporta, in  media, le percentuali di risposte esatte nelle varie aree disciplinari nei diversi anni di corso ottenute nei CLMMC durante il PT 2011.

Per quanto riguarda le Scienze di Base possiamo osservare come, differentemente da altri esercizi precedenti, in tutte le aree disciplinari ci sia un costante progressivo aumento della percentuale delle risposte corrette, fino a valori molto buoni, come nel caso della “Microbiologia ed Immunologia” e “Patologia Generale e Fisiopatologia”, dove si raggiungono percentuali superiori al 60%.

Si può ovviamente considerare come tra le varie discipline esistano naturali differenze, soprattutto al II anno di corso, dove vediamo che la “Morfologia e Biologia”, in particolar modo, ma anche la “Biochimica, Biologia Molecolare e Genetica” e la “Microbiologia e Immunologia”, partano da valori molto più alti, che sono poi progressivamente recuperati dalle altre discipline.

Per le scienze di base, quindi, abbiamo nel 2011 un’ottima riproducibilità nella percentuale delle risposte giuste con un incremento medio del 32% delle risposte giuste dal secondo al sesto anno di corso tra il 2007 e il 2011.

Per quanto riguarda le Scienze Cliniche, si può vedere come esista un andamento molto simile a quello delle Scienze di Base, con progressivi incrementi delle percentuali di risposte corrette, con un netto stacco tra il IV e il V anno di corso. Differentemente dagli anni precedenti, in tutte le discipline si è riusciti a raggiungere un buon risultato, superiore al 40%, con diverse discipline arrivate a superare anche il 50% fin dal V anno di corso, come “Ostetricia e Ginecologia” e “Anatomia Patologica”. La “Anatomia Patologica”, riesce poi addirittura a raggiungere una percentuale superiore al 60% al VI anno di corso, recuperando i non brillanti risultati ottenuti nello scorso PT.

Fa eccezione, in questo ottimo prospetto, la “Medicina Preventiva”, che differentemente dagli ultimi anni, in questo esercizio ottiene dei punteggi molto bassi, non riuscendo nemmeno a raggiungere il 40% al VI anno di corso.

 

II

III

IV

V

VI

 SCIENZE DI BASE
Morfologia/Biologia 34.2 40.6 40.5 48.1 50.7
Fisiologia 20.2 34.4 47.6 59.4 58.8
Biochimica/Biologia Molecolare/Genetica 27.8 37.6 42.8 50.4 47.3
Microbiologia/Immunologia 21.9 42.3 52.9 63.6 62.7
Patologia Generale/Fisiopatologia 15.7 24.6 40.2 58.8 60.9
Farmacologia 12.5 19.5 29.1 47.3 49.1
Scienze del Comportamento 26.0 28.1 34.4 51.1 53.8
SCIENZE CLINICHE
Ostetricia e Ginecologia 25.4 29.6 40.1 56.8 58.0
Pediatria 9.7 12.3 21.1 39.4 44.5
Medicina Interna e Specialistica 4.9 8.1 20.4 45.5 51.6
Chirurgia Generale e Specialistica 5.7 8.6 17.6 35.4 42.6
Medicina Preventiva 10.6 12.9 21.5 36.5 38.6
Anatomia Patologica 12.9 16.4 30.9 57.2 61.5

Tabella 3: Percentuale di risposte esatte nei cinque anni del corso di laurea stratificate per aree disciplinari.

Analisi dell’incremento delle competenze al sesto anno suddivisi per CLMMC

Quest’analisi molto puntiforme e che riguarda la valutazione delle competenze al sesto anno è disponibile per 32 CLMMC (Figura 22).

I vari CLMMC sono individuati da un numero progressivo per il quale è impossibile individuarli.  Tuttavia, come è estrapolabile nella Figura 22, vi sono dei comportamenti particolarmente anomali soltanto in alcuni casi.

Figura 22

 

Conclusioni

Il PT 2011 ha mostrato un aumento della numerosità degli studenti partecipanti nonostante in questo esercizio non è stato incluso il primo anno di corso.  E’ stata osservata, tuttavia, anche quest’anno, una diminuzione progressiva del numero degli studenti partecipanti tra i vari anni di corso con una riduzione importante al sesto anno.  Questo probabilmente è dovuto alla difficoltà per gli studenti di comprendere fino in fondo il significato del PT anche se la grande partecipazione degli studenti del terzo anno fornisce l’idea di una sempre maggiore comprensione del significato del PT.   Dopo 6 anni di sperimentazione cominciamo veramente ad essere fiduciosi che il PT,  nei Corsi di Laurea Magistrali in Medicina e Chirurgia in Italia, possa rappresentare un test affidabile nella valutazione delle conoscenze acquisite durante il corso di laurea.  Sicuramente in questo esercizio è stata fugata anche la sensazione di un errore metodologico nel non valutare le risposte sbagliate.

Il tentativo di trasformare l’attuale esame di abilitazione in un Progress Test Finale sta diventando una probabile realtà  e forse una necessaria realtà alla luce dei risultati ottenuti nell’attuale esame di stato (Figura 23).

Figura 23

Sarà quindi necessario, come auspicato dalla Conferenza Permanente dei Presidenti dei CLM di Medicina e Chirurgia che il PT diventi una evenienza routinaria, capo saldo della formazione dei nostri studenti, prossimi professionisti della salute.

Bibliografia

1. Mennin SP, Kalishman S. (1998). Student assessment. Acad Med.;73(9 Suppl):S46-54.

2. Newble DI, Jaeger K. (1983) The effect of assessments and examinations on the learning of medical students.  Med Educ. ;17: 165-171.

3. Tenore A. (2010). Il Progress Test- Considerazioni e speranze per il futuro delle Facoltà di Medicina Italiane.  Med Chir 49; 2123-2130.

4. Recchia L, Moncharmont B. (2011) Elaborazione dei dati relativi al nuovo Corso di Laurea in Medicina e Chirurgia dell’Università degli Studi del Molise.  I risultati del Progress Test. Med Chir 51, 2237-2242.

Cita questo articolo

Tenore A., Basili S., Lenzi A., et al, , Medicina e Chirurgia, 56: 2487-2509, 2012. DOI:  10.4487/medchir2012-56-5