Introduzione

Recentemente la cultura della valutazione e della qualità nel Sistema Universitario è divenuta un argomento sempre più oggetto di interesse. Essa rappresenta un prerequisito indispensabile per garantire efficienza ed efficacia nel perseguimento degli obiettivi, della promozione e sviluppo della ricerca e dell’elaborazione e trasmissione delle conoscenze, attraverso i quali l’Ateneo concorre ai processi di innovazione culturale, educativa, tecnologica ed organizzativa della società.

Dal 1998 al 2010 dopo una serie di accordi ministeriali, correlati ad attività politiche e istituzionali che hanno caratterizzato la politica europea dell’istruzione superiore, è nato, in occasione di una specifica riunione tra i 47 ministri dei paesi aderenti al Processo di Bologna (sistema di riforma internazionale dei sistemi di istruzione superiore dell’Unione Europea), lo Spazio Europeo dell’Istruzione Superiore.

Grazie a questo accordo intergovernativo di collaborazione, l’European Network for Quality Assurance in Higher Education (ENQA) su richiesta dei ministri dei paesi aderenti, sviluppò un insieme di standard e linee guida per assicurare la qualità all’interno di istituzioni universitarie, nonché l’istituzione di agenzie esterne per verificare le attuazioni in materia.

Nel Consiglio di Bergen (2005) furono adottate, tenendo in considerazione i diversi assetti istituzionali, metodiche comuni per assicurare standard di qualità in grado di accomunare l’istruzione superiore dei diversi paesi europei, definite Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG).

In Italia è stata istituita nel 2011 l’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR) che oltre a verificare e valutare il sistema di assicurazione della qualità ha anche la funzione di accreditamento degli atenei italiani [1], sviluppando, sulla base delle norme e delle linee guida europee, il sistema AVA (Autovalutazione, Valutazione e Accreditamento).

A tal fine, è richiesto ai responsabili dei corsi di studio di stabilire i contenuti degli insegnamenti coerenti con gli obiettivi del corso, e far si che le modalità di verifica siano in grado di garantire che lo studente acquisisca le competenze dichiarate nel programma didattico. Inoltre, annualmente i responsabili devono effettuare un riesame del corso in base agli obiettivi dichiarati, al monitoraggio effettuato ed a eventuali criticità che possano emergere sia da loro stessi che da considerazioni da parte di studenti.

Tutto ciò si rende necessario, al fine di elevare la qualità dei processi formativi e fronteggiare alcuni problemi persistenti dell’ambito accademico, emersi da un rapporto ANVUR (2013) sullo stato del sistema universitario e della ricerca [2]. Uno dei procedimenti atti alla valutazione della formazione, prevede di esaminare le opinioni espresse dagli studenti attraverso la somministrazione di questionari, su un insieme di aspetti inerenti i corsi da essi frequentati.

In questo ambito, Sapienza si è attivamente impegnata dall’a.a. 2003/2004 avviando un proprio sistema di Assicurazione della Qualità (AQ), che è stato successivamente riorganizzato per tener conto della normativa vigente riguardo il sistema di valutazione e accreditamento adottato dall’ANVUR. Secondo la normativa vigente, i questionari con le opinioni degli studenti frequentanti mantengono grande rilevanza sia a fini di accreditamento sia come quota premiale del Fondo di Finanziamento Ordinario (FFO) da assegnare agli Atenei, inoltre costituiscono la base informativa per il Rapporto del Riesame, atto essenziale del sistema di AQ.

La rilevazione annuale della Sapienza sulle opinioni degli studenti è denominata “OPIS on-line” e viene realizzata attraverso l’adozione del questionario predisposto dall’ANVUR (v. Allegato). La compilazione avviene, attraverso il sistema informatico della Sapienza, sulla piattaforma Infostud, in cui gli studenti esprimono il proprio giudizio, con una scala ordinale, su vari aspetti relativi agli insegnamenti presenti nel loro corso di studi.

In particolare, i dati analizzati in questo lavoro, sono stati raccolti presso la Facoltà di Farmacia e Medicina, nello specifico per i corsi di laurea: Biotecnologie, Chimica e Tecnologia Farmaceutiche, Farmacia, Fisioterapia, Infermieristica, Medicina e Chirurgia, Scienze Farmaceutiche Applicate, Tecniche della Prevenzione nell’Ambiente e nei Luoghi di Lavoro, Tecniche di Laboratorio Biomedico, Tecniche di Radiologia Medica per Immagini e Radioterapia, analizzati nel periodo temporale relativo agli anni accademici 2013/2014.

Tali rilevazioni sono effettuate in modo da individuare eventuali aspetti problematici che possano presentarsi nello svolgimento delle attività didattiche con lo scopo di migliorare l’offerta formativa dell’ateneo.

Riuscire a definire un concetto astratto come la qualità, è un compito abbastanza arduo, poiché sintetizza un insieme di caratteristiche intrinseche che rendono un servizio conforme a determinati requisiti.

Tale concetto, per poter essere desunto dai dati, necessita quindi di una quantificazione.

Fino ad oggi sono state utilizzate diverse tecniche statistiche sia semplici che più sofisticate [3,4]. Un ulteriore e più raffinato metodo di analisi è basato sull’utilizzo di modelli ad equazioni strutturali (Structural Equation Model, SEM) [4] qui proposto. Con i SEM i fenomeni complessi oggetto di indagine possono essere determinati utilizzando le relazioni causali tra Variabili Latenti (VL), cioè non osservate, ciascuna delle quali viene “misurata” da un pool Variabili Manifeste (VM), cioè osservate.

Obiettivi

Lo scopo di questo lavoro è la misurazione sincretica della qualità della formazione universitaria, analizzata attraverso il livello di soddisfazione espresso dagli studenti.

A tal proposito, è necessario individuare e misurare le potenziali cause dell’insoddisfazione, in modo da identificare leve sulle quali agire per migliorare la performance complessiva.

Appendice metodologica

I metodi di analisi utilizzati riguardano modelli statistici in grado di analizzare le relazioni di causa effetto tra più variabili.

Tali modelli conducono ad una quantificazione dell’importanza delle cause poiché le relazioni sono formalizzate tramite equazioni.

La loro utilità è duplice perché riescono ad individuare le cause che agiscono su un fenomeno, ed inoltre, quantificano l’importanza di ogni specifica causa.

La modellazione ad equazioni strutturali nasce dalla combinazione di modelli di path analysis [5] e modelli di analisi fattoriale [6]. I primi consentono lo studio delle relazioni di causalità tra più variabili mentre i secondi consentono l’analisi di fenomeni complessi caratterizzati da un insieme di Variabili Latenti (VL) attraverso l’impiego di Variabili Manifeste (VM).

Pertanto, il ricorso ai modelli ad equazioni strutturali permette di analizzare contemporaneamente le strutture latenti sottostanti certi indicatori osservati e le loro potenziali relazioni causali, tenendo in considerazione non solo la molteplicità di cause che agiscono su variabili dipendenti, ma anche le connessioni tra diverse cause.

Nei SEM per identificare le variabili si utilizza la terminologia introdotta in econometria di variabili endogene ed esogene. Le esogene appaiono in tutto il sistema di equazioni del modello solo come variabili indipendenti, mentre quelle endogene risultano dipendenti in almeno una equazione.

I SEM sono rappresentabili graficamente tramite i path diagrams, in cui le VL sono raffigurate con ellissi, le VM con rettangoli e i legami tra VL con frecce orientate; la variabile che riceve la freccia è considerata endogena nella specifica relazione, mentre gli errori sono rappresentati con la corrispondente lettera senza essere cerchiati. Infine, la forza della relazione è espressa, in corrispondenza della freccia, tramite il coefficiente di regressione se la freccia è causale, cioè orientata, oppure tramite quello di correlazione o di covarianza se non è indicata la direzione causale.

La duplice natura di questo approccio è rilevabile nelle due parti che lo costituiscono: il modello strutturale e quello di misurazione. Il primo specifica le relazioni tra le VL; in termini formali, indicando con η un vettore (m x 1) di variabili latenti endogene, con ξ un vettore di variabili latenti esogene (n x 1), con Β (m x m) e Γ (m x n) le rispettive matrici dei coefficienti e con ζ (m x 1) un vettore casuale dei termini di errore, la parte strutturale è definita dalla seguente equazione: η = Bη + Γξ + ζ Il modello di misura, invece, definisce le relazioni tra le VL e le VM ed è formulato nel seguente modo: Y = Λyη + ε X = Λxξ + δ dove Y e X sono vettori di variabili osservate rispettivamente endogene ed esogene, η e ξ i vettori delle variabili latenti sottostanti, Λy (p x m) e Λx (q x m) le matrici dei coefficienti dei termini di errore.

Nella figura 1 possiamo osservare 5 blocchi di VM sintetizzate attraverso 5 VL, evidenziati in rosa, che rappresentano il modello di misurazione, mentre evidenziate in verde le relazioni tra VL che rappresentano il modello strutturale.

Figura 1: path diagram

Nella letteratura sui SEM, per la stima dei parametri possono essere considerati due diversi metodi: tecniche basate sulla covarianza e le tecniche basate sulle componenti. Il primo approccio, che comprende il metodo della massima verosimiglianza (SEM-ML o LISREL) [7], è stato, per molti anni, l’unico metodo di stima. Esso mira a riprodurre la matrice di covarianze campionarie delle variabili osservate attraverso i parametri del modello. Il secondo approccio, noto anche come PLS Path Modelling (PLS-PM) [8], è stato sviluppato come alternativo al LISREL. Costituisce una tecnica più flessibile per il trattamento di una quantità enorme di dati caratterizzati da campioni di piccole dimensioni rispetto al numero delle variabili e richiede ipotesi meno restrittive rispetto ai classici approcci basati sulla covarianza in termini di distribuzioni e scale di misurazione. Esso fornisce stime delle LV in modo tale che siano le più correlate fra loro, secondo la struttura del path diagram, e le più rappresentative di ogni corrispondente blocco di VM.

Una recente metodologia, appartenente a questo secondo approccio, è il Non-Metric PLS [9] ed è basata sul concetto di optimal scaling applicato all’algoritmo del PLS-PM.

Grazie alla sua introduzione si possono analizzare con il PLS-PM anche variabili con scale di misura non quantitative. Infatti, utilizzando l’optimal scaling, ogni osservazione categoriale viene rappresentata attraverso un parametro di scaling. In questo caso devono essere ottimizzati due set di parametri: quelli del modello e quelli di scaling. Per questo motivo è stato sviluppato un nuovo algoritmo denominato NM-PLS.

Risultati

I dati analizzati riguardano i questionari compilati da 1020 studenti di Farmacia e Medicina, frequentanti i 10 corsi di Laurea, riguardanti le 12 domande del questionario sulla qualità della formazione percepita dagli stessi (tabella 1).

Il modello strutturale, adottato per l’analisi, ripartisce le 12 domande del questionario in 3 VL corrispondenti alle 3 sezioni individuate dall’ANVUR, ossia:

1. Organizzazione del modulo
2. Attività didattiche e studio
3. Interesse e soddisfazione

Tabella 1: descrizione delle VL e VM del data-set

due tipi di relazioni:

• di tipo riflessivo, in cui si ipotizza che le VM siano la conseguenza logica della propria VL
• di tipo formativo, in cui si considera la VL come combinazione lineare delle proprie VM Per la VL Interesse e Soddisfazione si è utilizzato un legame di tipo formativo, mentre per le altre due VL si è utilizzata una relazione di tipo riflessivo.

Inoltre, per il modello strutturale si è considerata endogena la VL Interesse e Soddisfazione, mentre le altre due VL sono state considerate come esogene.

Quindi si ipotizza che la VL Interesse e Soddisfazione sia spiegata dalle altre due VL considerate (figura 2).

Figura 2: path diagram del modello strutturale

Una prima analisi esplorativa è stata condotta riguardo la consistenza interna dei blocchi riflessivi.

In tabella 2, possiamo verificare, attraverso gli indici alpha di Cronbach e Rho di Dillon-Golstain, che tutti i blocchi riflessivi (come si può riscontrare in tabella identificati con mode A) sono unidimensionali, infatti hanno tutti valori molto elevati per questi due indici.

Tabella 2

In particolare, si prende come riferimento l’indice Rho di Dillon-Golstain, in quanto è stato dimostrato essere un indicatore migliore rispetto all’ alpha di Cronbach, poiché è basato sui loadings che risultano dal modello piuttosto che sulle correlazioni osservate tra le VM presenti nel dataset [10]. Per esso si riscontrano valori maggiori del valore soglia 0,70 [11]. Un secondo step riguarda l’analisi delle relazioni tra ogni VM con la propria VL.

Nella tabella 3 sono riportati i pesi delle relazioni tra tutte le VM con le rispettive VL e l’indice di comunalità che indica la capacità della VL di spiegare le proprie VM.

Si può osservare che per la VL Attività didattica e studio le VM che hanno un peso maggiore rispetto altre dello stesso blocco nella costruzione della VL sono “Il docente espone gli argomenti in modo chiaro?”, “Il docente stimola/motiva l’interesse verso la disciplina?”, e “Il materiale didattico (indicato e disponibile) è adeguato per lo studio della materia?”, con i seguenti loadings rispettivamente pari a 0,879; 0,890; 0,786.

Queste relazioni sono rappresentabili graficamente tramite i path diagrams relativi al modello di misurazione (figura3).

Figura 3: path diagrams del modello di misurazione

Per quanto riguarda il modello interno, si analizzano i risultati dell’analisi relativi ai path coefficients, all’R2 e all’Average Variance Extracted (AVE).

Dall’analisi dei path coefficients, (tabella 4) si può osservare che interesse e soddisfazione di uno studente dipendono dalla VL Attività didattica e studio (path coefficient = 0,730) e marginalmente dalla VL Organizzazione del modulo (path coefficient = 0,175).

Tabella 4: effetti totali

Il modello strutturale viene rappresentato graficamente mediante il seguente path diagram (figura 4).

Figura 4

Figura 4: path diagram del modello strutturale con i path coefficient  Dalla tabella 5 è possibile notare, invece, l’analisi riferita al modello strutturale, in particolare gli indici riferiti all’R2, alla comunalità media e all’AVE.

Tabella 5

Il coefficiente di determinazione R2, per le VL endogene, ci indica l’ammontare di varianza nella VL endogena spiegato dalle proprie VL indipendenti.

In questo caso, possiamo osservare un valore di R2 per la VL Interesse e Soddisfazione pari a 0,751.

Il secondo indice è la comunalità media, che indica quanta parte della variabilità del blocco è riproducibile dalla VL.

L’ultimo indicatore riguarda l’AVE che misura l’ammontare di varianza che una VL cattura dai propri indicatori (VM) in relazione ad un ammontare di varianza dovuto all’errore di misura. In generale, un AVE maggiore di 0,50 indica che è rappresentato più del 50% della varianza dell’indicatore.

Infine, un indicatore della bontà di adattamento, che consideri sia la qualità del modello strutturale che quella del modello di misurazione, è fornito dal Goodness of Fit (GoF) [12], il cui calcolo è basato sia sull’indice di comunalità che sul coefficiente R2.

In questo studio si sono ottenuti risultati molto soddisfacenti, in particolare un valore di R2 di 0,751 come mostrato in tabella 5 e un valore assoluto del GoF di 0,6547.

In ultimo, possiamo individuare la relazione che caratterizza il modello strutturale: Interesse e Soddisfazione = 0,175 × Organizzazione del modulo + 0,73 × Attività didattiche e studio

Conclusioni

Si è utilizzata una nuova metodologia per valutare la soddisfazione, da parte degli studenti, dei corsi di studio ed i fattori che l’hanno generata. L’analisi della valutazione degli studenti necessita di tecniche speciali in grado di considerare la natura ordinale delle valutazioni nonché la natura multivariata dei dati.

I SEM sono stati applicati ai dati raccolti attraverso i questionari OPIS on-line dell’Università Sapienza nell’anno accademico 2013-2014. In questo ambito, in cui i fenomeni da studiare sono più complessi e articolati di quelli tradizionalmente affrontati con modelli di regressione o di riduzione dimensionale, l’utilizzo dei modelli ad equazioni strutturali, appare particolarmente appropriato.

In particolare si è mostrato che si deve operare prevalentemente sulla VL Attività didattiche e studio per incrementare la soddisfazione complessiva degli studenti.

Infine, grazie all’utilizzo dei modelli ad equazioni strutturali è possibile costruire un indicatore composito della qualità della formazione.

1. ANVUR (2014). Il modello italiano di accreditamento e valutazione degli atenei nel quadro dei sistemi di assicurazione della qualità promossi dal processo di Bologna. Audizione presso la Commissione 7° della Camera dei deputati del 12/06/2014.

2. Rapporto sullo stato del sistema universitario e della ricerca 2013. http://www.anvur.org

3. Polimeni A., Vestri A.R. (2009). La valutazione della didattica da parte degli studenti nella I Facoltà di Medicina e Chirurgia dell’Università di Roma la Sapienza mediante tecniche di scaling multidimensionale.

4. V. Capursi, M. Porcu (2001) “La didattica universitaria valutata dagli studenti: un indicatore basato su misure di distanza fra distribuzioni di giudizi” Atti del Convegno Intermedio della SIS, pag. 17-20.

5. Bollen K.A. (1989). Structural equations with latent variables. Wiley, New York, NY.

6. Wright S. (1921). Correlation and causation. Jour. Agric. Res. 20.

7. Thurstone L.L. (1947). Multiple-Factor Analysis. Chicago: University of Chicago Press.

8. Jöreskog K. G. (1970). A general method for analysis of covariance structures, Biometrika 57, pp. 239– 251. doi:10.1093/biomet/57.2.239

9. Wold H. (1975). Soft modelling by latent variables: the non-linear iterative partial least squares (NIPALS) approach. Gani, J (Ed.), Perspectives in Probability and Statistics: Papers, in Honour of M.S. Bartlett on the Occasion of his Sixty-fifth Birthday. Applied Probability Trust, Academic, London, pp. 117–142.

10. Russolillo G. (2012). Non-Metric Partial Least Squares. Electronic Journal of Statistics, 6, pp. 1641- 1669.

11. Chin W.W. (1998). The partial least squares approach to structural equation modeling. In: Marcoulides GA (ed) Modern methods for business research. Lawrence Erlbaum Associates, Mahwah, NJ, pp. 295–336.

12. Werts C.E., Linn R.L., Jöreskog K.G. (1974). Intraclass reliability estimates: testing structural assumptions. Educ Psychol Meas 34(1), pp. 25–33 .

13. Amato S., Esposito Vinzi V., Tenenhaus M. (2005). A global goodness-of-fit index for PLS structural equation modeling. Technical report HEC School of Management, France.

Ferrara C., Nofroni I., Polimeni A., Vestri A., Come valutano gli studenti la qualità della formazione della Sapienza?, Medicina e Chirurgia, 75: 3394-3400, 2017. DOI: 10.4487/medchir2017-75-4