The Italian National Agency for the Evaluation of Universities and Research Institutes (ANVUR) is in charge of evaluating the quality of research and teaching activities of Universities. On the basis of the European Standards and Guidelines (ESG) published by ENQA in 2005, ANVUR has proposed an internal evaluation system founded on self-evaluation and internal quality assurance procedures and an external evaluation system based on a yearly-based evaluation of teaching and research outputs (Periodic Evaluation) and on an accreditation procedures. The integrated system has called AVA (Autovalutazione /Self-evalutation; Valutazione Periodica/Periodic Evaluation; Accreditamento/ Accreditation).
The first application of the system during 2013 showed several areas of improvement from the technical and operative point of view. However the most important challenge is the change of mentality from a bureaucratic approach toward an enhancement of quality attitude that needs to permeate all the University system from the top to the bottom.
L’Assicurazione della Qualità nell’educazione superiore: la prospettiva europea e l’interpretazione italiana
L’introduzione di un sistema di Autovalutazione, Valutazione Periodica e Accreditamento (A.V.A.) delle università trova i suoi riferimenti normativi all’interno della L. 240/2010, che prevede l’introduzione di un sistema di Accreditamento delle Sedi e dei Corsi di Studio universitari, fondato sull’uso di specifici indicatori definiti ex ante dall’ANVUR per la verifica del possesso, da parte degli atenei, di idonei requisiti didattici, strutturali, organizzativi, di qualificazione dei docenti e delle attività di ricerca, nonché di sostenibilità economico-finanziaria.
Il DPR 76/210 (artt. 2; 3 e 4) definisce il ruolo dell’ANVUR nei sistemi di Accreditamento e di Valutazione Periodica e nell’elaborazione dei parametri di riferimento per l’allocazione dei finanziamenti statali.
Per compiere il suo mandato istituzionale l’ANVUR si ispira agli standard e alle linee guida per l’Assicurazione della Qualità nell’area dell’educazione superiore europea (European Standards and Guidelines, ESG-ENQA, 2005) adottate nel 2006 con Raccomandazione del Parlamento e del Consiglio Europei (2006/143/CE). In tali Linee Guida si raccomanda gli Stati membri di: incoraggiare tutti le istituzioni di formazione superiore operanti nel territorio europeo a introdurre o sviluppare rigorosi sistemi interni di certificazione della qualità, conformemente alle norme e agli indirizzi in materia adottati a Bergen (2005), nell’ambito del processo di Bologna; incentivare tutte le agenzie di certificazione della qualità o accreditamento ad applicare i criteri di certificazione della qualità definiti nella raccomandazione 98/561/CE; e, al contempo, applicare l’insieme di norme generali e indirizzi comuni adottati a Bergen ai fini della valutazione.
Il Decreto 19/2012 disciplina l’introduzione di tutto il sistema A.V.A.; mentre il Decreto Ministeriale 47 del 30 gennaio 2013 recepisce i criteri e gli indicatori per l’accreditamento iniziale e periodico e per la valutazione periodica predisposti dall’ANVUR e contenuti nel Documento Finale1 A.V.A. Nel suo documento finale l’ANVUR si è impegnata a raggiungere una serie di obiettivi che si costituiscono come altrettanti servizi per il sistema e per la comunità. Tra gli obiettivi più rilevanti si possono ricordare: l’elaborazione di un sistema documentale rivolto all’università e finalizzato alla costruzione e allo sviluppo di un modello di Assicurazione della Qualità per l’Higher Education, basato sulla condivisione di informazioni utili a potenziare le loro strategie nella formazione, nella ricerca e nelle attività di terza missione; la definizione di elementi comparativi orientati a Corsi di Studio e alle unità di ricerca, sulla base dei quali poter progettare azioni per il miglioramento della qualità delle loro attività; l’organizzazione e la diffusione di informazioni necessarie agli organi di governo per la programmazione nazionale e per le decisioni relative all’allocazione delle risorse; l’organizzazione e la diffusione di informazioni utili e puntuali sulla base delle quali gli studenti e le loro famiglie possano fondare le loro scelte; l’organizzazione e la diffusione di informazioni orientate al mondo del lavoro e delle professioni, e in grado di presentare la qualità dei programmi e dei laureati che il Corso di Studi si propone di formare; l’organizzazione e la diffusione di informazioni affidabili e trasparenti, in una logica di accountability sulle attività del sistema universitario italiano.
Secondo questa logica, l’Assicurazione di Qualità è considerata come un modello di governance e di progettazione organizzativa che ruota attorno all’orientamento al servizio, al cliente e alla responsabilità sociale delle proprie azioni.
Un’efficace politica di assicurazione della qualità fonda ogni intervento/processo decisionale su un giudizio consapevole e informato rispetto ai processi organizzativi e ai loro esiti, senza mai perdere di vista il più ampio ambiente di riferimento e l’insieme di stakeholders e/o shareholders con cui intessere alleanze e progetti di sviluppo. Essa sviluppa una visione integrata dell’agire organizzativo, e si fonda su quella logica di learning by doing che riconosce l’incidente critico come un’opportunità di apprendimento organizzativo. Altro elemento essenziale su cui si fonda la politica di assicurazione della qualità di un’organizzazione è il valore assegnato alla comunicazione che, mediante l’ausilio delle potenzialità offerte dalle nuove tecnologie in termini di conservazione, analisi, condivisione e replicabilità dei dati, vede trasformare profondamente la sua funzione istituzionale. In un recente passato la comunicazione istituzionale era intesa come mera trasmissione formale di dati, ai fini di una logica burocratica e formale, di tipo lineare e top-down che richiedeva all’organizzazione di rendere disponibili poche informazioni standard e generali, in ordine a una funzione meramente di adempimento. Oggi, la comunicazione istituzionale si ispira ad un’idea di partecipazione, inclusione e trasparenza, di tipo orizzontale e circolare, che richiede all’organizzazione un notevole sforzo indirizzato in modo particolare alle ragioni dell’agire, finalizzato a comunicare valori, principi, mission, obiettivi e specificità che la contraddistinguono nel complesso quadro di relazioni locali e globali in cui si muove.
Il modello di AQ di Ateneo
Con il concetto di Assicurazione della Qualità (AQ) di Ateneo si fa riferimento al sistema attraverso cui gli organi di governo interno realizzano la propria politica di qualità in coerenza con i riferimenti normativi che definiscono l’ordinamento universitario e il mandato istituzionale dell’ANVUR. Il modello di AQ di Ateneo proposto coinvolge parimenti sia il personale docente che quello tecnico-amministrativo, chiedendo ad entrambi la maturazione di competenze nuove, volte a sviluppare un rinnovato approccio al proprio ruolo, al servizio e all’utente-cliente, oltre che un’apertura al contesto interno ed esterno, in una logica di ascolto e valorizzazione delle differenze e delle specificità. Il cambiamento del modello e delle routines organizzative e di nuove pratiche professionali, infatti, passano essenzialmente da un cambiamento culturale senza il quale si corre il rischio di “cambiare tutto senza che nulla cambi”. L’AQ di Ateneo risponde a quella trasformazione dell’Amministrazione Pubblica che si sposta sempre più verso un’organizzazione per processi, dove è necessario attuare un graduale trasferimento delle responsabilità “verso il basso”, riconducendole a chi realmente esegue le diverse attività e ne ha, di conseguenza, la “responsabilità tecnica”, assumendo su di sé il carico del coordinamento e della pianificazione delle singole attività, nonchè della gestione dei rapporti con gli altri processi organizzativi e della definizione e monitoraggio delle procedure attivate per realizzarli.
Il modello di AQ di Ateneo proposto include sia la didattica che la ricerca. Il primo si basa sulla presenza e il funzionamento complementare e interdipendente di quattro organi essenziali i quali svolgono attività di monitoraggio, valutazione, controllo e comunicazione in maniera complementare e sinergica e, soprattutto, da prospettive differenti: i Corsi di Studio (CdS); il Presidio della Qualità di Ateneo (PQA); il Nucleo di Valutazione (NdV); le Commissioni Paritetiche (CP). Il secondo coinvolge il Dipartimento nella definizione degli obiettivi di ricerca individuati e delle relative motivazioni a sostegno.
L’AQ di Ateneo può essere realizzata solo se ciascuno di tali organi concorrono, in una logica cooperativa e costruttiva, al raggiungimento degli obiettivi autonomamente prestabiliti dall’Ateneo, e sotto l’egida di legittimazione e investimento, degli organi di governo dell’Ateneo. L’assicurazione di qualità dell’ateneo, infatti, non è semplicemente una tecnica di gestione organizzativa, e non può esistere separata da una politica della qualità dell’Ateneo. Essa si esprime, al contrario, come “braccio operativo” delle policies didattiche e di ricerca portate avanti dagli organi di governo e può essere perseguita solo attraverso la formazione di: un management intermedio competente, legittimato e fortemente orientato verso azioni organizzativa ispirate alla qualità del sistema complessivo; una leadership intermedia situata, partecipativa e di trasformazione, cioè orientata al cambiamento.
I pilastri del sistema A.V.A.
Il modello di AQ promosso da ANVUR si basa sostanzialmente sui tre seguenti pilastri: l’Autovalutazione, la Valutazione Periodica e l’Accreditamento.
Per dare seguito e concretezza all’autonomia gestionale che la L. 240/2010 riconosce, anche in coerenza con la filosofia europea sull’Assicurazione di Qualità, è necessario sviluppare un sistema di autovalutazione sui processi, sui servizi e sui risultati dell’Università, con lo scopo di fornire agli organi di governance e di management dell’ateneo le essenziali informazioni sulla base delle quali orientare le loro scelte strategiche, sia in termini di posizionamento di mercato/servizio, sia in termini di ricerca e sviluppo. Il primo grande obiettivo che l’ANVUR si propone è quindi quello di accompagnare un radicale cambiamento culturale, a tutti i livelli del sistema accademico (governance, management, operatori/docenti) con l’intento di far comprendere che l’autovalutazione è un utile, quanto ineliminabile, strumento di gestione della complessità organizzativa che caratterizza le università del terzo millennio. L’autonomia gestionale riconosciuta alle università si richiama infatti alla responsabilità di fare scelte informate di cui dar conto agli stakeholder e agli shareholders di riferimento; e l’autovalutazione è lo strumento primario di questo processo di auto-analisi e comunicazione strategica.
La valutazione può essere concepita come un’attività di ricerca applicata e realizzata, nell’ambito di un processo decisionale, in maniera integrata con le fasi di programmazione, progettazione e intervento. In tal senso, la valutazione risponde allo scopo di riduzione della complessità decisionale, attraverso l’analisi degli effetti diretti e indiretti, attesi e non attesi, voluti e non voluti, dell’azione, compresi quelli non riconducibili ad aspetti materiali. Esistono quindi diversi tipi e momenti della valutazione che il sistema A.V.A. ha tenuto bene in considerazione sia nella elaborazione del modello di quality assurance proposto, attraverso la diversa articolazione di ruoli e compiti assegnati ai diversi organi di governo dell’ateneo (organi di governance, Presidio di Qualità, Nucleo di Valutazione, Corsi di Studio, Commissioni Paritetiche), sia nei suoi principali strumenti proposti: la Scheda Unica Annuale e il Rapporto di Riesame che attengono alla valutazione della didattica (SUA-CdS) e che insieme costituiscono l’intero processo e rapporto di auto-valutazione; e la Scheda Unica della Ricerca Dipartimentale (SUA-RD). Nel modello AVA si possono distinguere quindi una valutazione ex ante riferita al momento di progettazione e realizzazione del Corso di Studio e una valutazione ex post riferita agli Atenei, ai Corsi di Studio (da prospettive e con obiettivi differenti) e alla ricerca dipartimentale.
Con il concetto di Accreditamento si indica il procedimento mediante il quale una “parte terza” riconosce formalmente che un’organizzazione possiede la competenza e i mezzi per svolgere i suoi compiti. In tal senso, l’Accreditamento rappresenta una garanzia per gli utenti-clienti che le loro esigenze possono essere soddisfatte e i loro diritti fondamentali sono tutelati da un’autorità competente. Sulla scorta di questo chiarimento terminologico si può ricordare che la normativa assegna all’ANVUR due compiti essenziali in riferimento all’azione di accreditamento, quello iniziale e quello periodico. Il primo ha una funzione autorizzativa che viene rilasciata dal Ministero, su proposta dell’ANVUR, e consente di attivare sedi e corsi di studio universitari, a seguito della verifica del possesso dei requisiti didattici, di qualificazione della ricerca, strutturali, organizzativi e di sostenibilità economico–finanziaria, stabiliti e verificati ex ante. Il secondo consiste in una verifica, con cadenza almeno quinquennale per le sedi, e almeno triennale per i corsi di studio, e mira soprattutto a verificare il grado di applicazione del sistema di AQ istituzionale.
La “traduzione in pratica” del sistema A.V.A.
Sin dai suoi primi passi l’ANVUR ha riconosciuto come primo mandato della sua funzione la cura della comunicazione e l’accompagnamento al processo di transizione verso un nuovo modello di università. Il sistema A.V.A. è prima di tutto una sfida culturale per condurre la quale l’ANVUR si è impegnata, e sta continuando a farlo, in un’attività di In-Formazione indirizzata a tutte le componenti del mondo accademico. L’avvio del processo di transizione del sistema A.V.A si può identificare con il primo evento di presentazione pubblica realizzato a Torino il 26.10.2013. Da quel giorno, l’ANVUR ha investito su questo tema in uno sforzo, senza precedenti per l’amministrazione pubblica, in attività di sensibilizzazione e diffusione. Sono stati programmati e realizzati ventotto eventi di In-Formazione in altrettanti Atenei italiani, con l’intento di illustrare il sistema A.V.A., le sue implicazioni organizzative e i relativi strumenti operativi. Questo ha permesso di raggiungere circa 5.000 persone tra docenti e personale tecnico amministrativo, studenti, operatori del settore2. Questa attività di sensibilizzazione, e i relativi contatti via via costruiti sul territorio, hanno permesso di rilevare una forte richiesta da parte del personale universitario (accademico e non) a realizzare interventi focalizzati, volti non solo ad informare sui principi generali introdotti dal sistema AVA, ma anche ad accompagnare gli operatori all’acquisizione e/o potenziamento di conoscenze e competenze specifiche e nuove sul versante della valutazione. Bisogno che ANVUR ha raccolto e su cui sta approntando una nuova programmazione maggiormente orientata a formare competenze specifiche. Un dato positivo, e non scontato, che è possibile trarre dopo quasi un anno di attività sul piano dell’informazione, è la continua richiesta che ancora oggi perviene dalle università, per replicare, presso le loro sedi, gli interventi di In-Formazione. Il bisogno emergente da parte di quanti sono chiamati ad operare all’interno di questi gangli strategici consiste nell’essere accompagnati a: sviluppare conoscenze e competenze adeguate a rispondere alle nuove sfide progettuali, gestionali e organizzative poste dalla transizione in atto; accompagnare i singoli contesti accademici verso la progettazione di un modello di governance orientato alla piena comprensione e valorizzazione della AQ di ateneo.
In linea con la mission istituzione che la normativa le assegna, l’ANVUR ha istituito l’Albo degli Esperti di Valutazione che prevede quattro distinti profili: Esperti di Valutazione di Sistema; Esperti Disciplinari di Valutazione; Esperti Telematici di Valutazione; Studenti. In coerenza con la filosofia e i principi stabiliti con la Delibera ANVUR che istituisce tale Albo, le persone ritenute idonee hanno intrapreso un momento di formazione volto a socializzare i contenuti, i principi, i metodi e gli strumenti della valutazione promossi dal sistema AVA. Quanti hanno regolarizzato la propria posizione amministrativa dopo aver partecipato alla formazione sono stati iscritti all’Albo dei Valutatori ANVUR3 al quale è stato possibile attingere per la composizione delle prime Commissioni di Esperti della Valutazione (CEV) costituite nell’anno corrente, e sempre affiancate da personale interno all’ANVUR.
Nell’anno accademico 2013, sono stati valutati per l’Accreditamento Iniziale 92 CdS di nuova istituzione, e mai attivati precedentemente, attraverso la valutazione delle CEV; di questi 14 corsi di studio sono stati ritirati dalle Università. L’ANVUR si è quindi espressa alla fine su un totale dei 78 corsi, 13 dei quali erogati in modalità telematica. I CdS che hanno ottenuto un parere favorevole per l’accreditamento in prima istanza, sulla scorta della positiva valutazione delle CEV, in base al riscontro del rispetto dei requisiti di assicurazione di qualità, di cui all’art. 4, c. 4, del D.M. 47/2013, sono stati 46 (32 cds hanno riportato proposte di non accreditamento).
A seguito della conclusione dell’elaborazione della scheda SUA da parte degli atenei, l’ANVUR ha effettuato la valutazione di 4.359 CdS (L., L.M., LMCU), suddivisi in 89 atenei. Su questi si è effettuata la valutazione sui requisiti minimi e non sono state riscontrate particolari criticità, se non la significativa difficoltà, da parte degli atenei, ad adeguare i sistemi informatici al nuovo dispositivo di raccolta dati.
Conclusioni e raccomandazioni
Il primo anno di accompagnamento alla “traduzione in pratica” di un sistema di Assicurazione di Qualità negli Atenei ha messo in luce alcune aree di miglioramento che si presentano trasversalmente diffuse tra tipologia di corsi di studio, atenei e territori. La prima consiste nella difficoltà ad operare una puntuale ed efficace ricognizione della domanda di formazione emergente e, altresì, dei fabbisogni formativi richiesti dal settore professionale di riferimento, in una prospettiva locale e globale. Questa difficoltà nella ricognizione della domanda si ripercuote su una cattiva o parziale elaborazione del quadro A1 della SUA-CdS. Da questo discende una significativa debolezza nell’elaborazione del quadro A2 della SUA-CdS, finalizzato a descrivere puntualmente i profili formativi in uscita, le funzioni associate in contesto di lavoro e le relative abilità/competenze che il CdS dichiara di formare, in coerenza con l’analisi della domanda. In continuità con questa debolezza interpretativa dei profili, si osserva una certa fatica ad esplodere gli esiti di apprendimento attesi (Descrittori di Dublino 1 e 2) per aree omogenee di insegnamento. Queste problematicità metodologiche, connesse all’elaborazione della SUA-CdS, tendono a mostrare un significativo problema di coerenza interna al progetto formativo e una certa difficoltà di comunicazione dello stesso in una logica di fruizione da parte del destinatario finale. Questo elemento di debolezza può essere interpretato, per un verso, con una certa tendenza alla delega che si può registrare in una parte del corpo docente verso la componente tecnico-amministrativa; per l’altro, nella cronica difficoltà che il sistema dell’istruzione (a tutti i livelli) incontra nel tentativo di costruire un dialogo paritario e utile con il più ampio sistema del mondo del lavoro. L’insieme di questi elementi di fragilità del sistema fa venir meno proprio quella dimensione propriamente progettuale di analisi del contesto e programmazione strategica che dovrebbero invece caratterizzare ogni CdS in un epoca di turbolenza e profonde trasformazioni. Tali difficoltà possono essere comprese nel quadro del mutamento che interessa il sistema accademico nel passaggio da quella prospettiva auto-referenziale e chiusa, espressa dall’immagine della “torre d’avorio” ad una che sia capace di stabilire nuove modalità di relazione con il più ampio sistema sociale da cui trae risorse, legittimità e stimoli per l’innovazione. Relazione che va giocata non banalmente in termini adattivi rispetto ai bisogni formativi rilevati (cosa del resto assai complessa) ma in quella logica proattiva di innovazione e sviluppo che può affermarsi solo se, e dove, tutte le componenti del triangolo della conoscenza (istruzione, ricerca e innovazione) trovano uno spazio dove sperimentare nuove reciproche fertilizzazioni.
Tra gli altri elementi di miglioramento da considerare, strettamente connesso a questa difficoltà ad interpretare in una nuova vision strategica il ruolo dell’università, e di conseguenza i profili di competenza attraverso cui essa si esprime, è da leggersi nella tendenza a burocratizzare e a ritualizzare ogni passaggio/strumento organizzativo strettamente legato ai temi della valutazione. Infatti, sembra permanere ancora molto forte una cultura dell’adempimento che rischia di svuotare di senso ogni proposta di miglioramento operata in tema di valutazione. Ma la “rivoluzione” della valutazione può avvenire solo dall’interno, motivo per cui l’ANVUR ha scelto di investire uno sforzo così rilevante in termini di comunicazione e accompagnamento. Questo cambiamento di prospettiva si svolge all’interno di un nuovo clima culturale che riconosce la complessità4 come il tratto dominante della vita che si dispiega intorno a noi e che richiede nuove strategie interpretative, di ricerca e di organizzazione. E’ sulla scia di questi cambiamenti che anche all’accademia è richiesto di costruire, dal di dentro, nuovi modelli di direzione e di managment capaci di valorizzare cooperazione, creatività e interdisciplinarità, spingendo i tradizionali modelli organizzativi di tipo tradizionale e verticistico a trovare nuove forme di auto-governo, fondate sul principio dell’auto-valutazione come strumento per il miglioramento continuo.
Massimo Castagnaro è membro del Consiglio Direttivo dell’ANVUR, Coordinatore del Programma AVA
1 Il documento è disponibile al seguente indirizzo Internet: http://www.anvur.org/attachments/article/26/documento_finale_28_01_13.pdf
2 Per approfondimenti si consulti lo spazio “eventi” sul sito ANVUR: http://anvur-miur.cineca.it/eventi/index.php/
3 Albo Esperti di Valutazione: http://www.anvur.org/index.php?option=com_content&view=article&id=475&Itemid=490&lang=it
4 La teoria della complessità spiega i sistemi complessi (come anche quelli sociali) come sistemi le cui prestazioni e dinamiche sono il risultato dell’interazione spontanea tra numerosi e differenti attori, che co-evolvono muovendosi all’interno di un ambiente competitivo in continuo cambiamento. La teoria della complessità spiega che tali sistemi sono aperti, cioè interagiscono con l’ambiente e sono costituiti da reti di elementi più o meno complessi che interagiscono in modo locale e non lineare. Elementi fondamentali di questi sistemi sono: la ridondanza, cioè nessun elemento è indispensabile poiché manca una specializzazione.
Castagnaro M., Capogna S., La via italiana all’autovalutazione della didattica e della ricerca, Medicina e Chirurgia, 61: 2715-2719, 2014. DOI: 10.4487/medchir2014-61-1