Dopo mesi e mesi di oscuro lavoro preparatorio pare proprio che stia per scoccare l’ora fatale della valutazione dell’apprendimento degli studenti. A gennaio L’ANVUR ha lanciato la sperimentazione di un nuovo test per valutare le “competenze generaliste” dei laureandi, che si terrà in dodici atenei italiani (Roma Sapienza e Tor Vergata, Milano Statale, Bologna, Padova, Firenze, Napoli Federico II, Cagliari, Messina, Piemonte Orientale, Udine e Lecce)
Se la sperimentazione avrà successo, a partire dal 2014 i risultati di questo test verranno utilizzati per l’accreditamento degli atenei e ai fini dei finanziamenti “premiali”, ovviamente distribuiti secondo il vangelo di San Matteo: “perché a chiunque ha sarà dato e sarà nell’abbondanza; ma a chi non ha sarà tolto anche quello che ha.”
La posta in gioco è quindi molto alta: in un momento in cui da più parti si invoca un forte ridimensionamento del sistema universitario, per ciascun ateneo un buon risultato nel test diventa una questione di vita o di morte. Facile prevedere che, in ossequio alla pratica del teaching to the test, ci sarà una corsa a modificare i programmi dei corsi di studio per massimizzare il punteggio ottenuto dagli studenti. Conoscere le modalità di questa ennesima valutazione diventa quindi di importanza cruciale.
Secondo il documento di presentazione dell’iniziativa, l’ANVUR si propone di misurare il grado di raggiungimento delle qualifiche che secondo l’Unione Europea devono essere conseguite dai laureati triennali (livello 6). I risultati dell’apprendimento relativi al livello 6 sono:
- critical thinking: Conoscenze avanzate in un ambito di lavoro o di studio, che presuppongano una comprensione critica di teorie e principi.
- problem solving: abilità avanzate che dimostrino padronanza e innovazione necessarie a risolvere problemi complessi e imprevedibili in un ambito specializzato di lavoro o di studio.
- decision making : Gestire attività o progetti tecnico/professionali complessi assumendo la responsabilità di decisioni in contesti di lavoro o di studio imprevedibili. Assumere la responsabilità di gestire lo sviluppo professionale di persone e gruppi.
Per assolvere questo compito cruciale il Gruppo di esperti dell’ANVUR ha deciso di affiancare a dei test specifici per ciascun ambito disciplinare un test “generalista” composto sia di domande a risposta aperta che di domande a risposta chiusa, il CLA plus.
Il CLA: Collegiate Learning Assessment
Il CLA è un test di valutazione dell’apprendimento di proprietà del CAE (Council for Aid to Education): è un’organizzazione statunitense finanziata (tra gli altri) dalla Carnegie Corporation (quella di Andrew Carnegie), dalla Ford Foundation e dalla Teagle Foundation, che opera nel campo dell’istruzione superiore.
Il presidente del CAE è Roger Benjamin, che precedentemente è stato per cinque anni direttore della divisione Educazione della nota RAND Corporation. Ed è proprio alla RAND che il CAE ha affidato l’incarico di sviluppare il CLA (Collegiate Learning Assessment): un test standardizzato che punta a valutare la performance didattica di interi atenei misurando il “valore aggiunto” fornito agli studenti. Il test non punta a valutare nozioni o competenze specifiche ma “higher order competencies” indipendenti da esse, che dovrebbero essere comuni a tutti gli ambiti disciplinari.
Il test è somministrato per via informatica su un campione di studenti ed è unico: tutti gli studenti degli atenei valutati vengono sottoposti alle medesime prove, indipendentemente dal corso di laurea che hanno frequentato. E’ costituito da tre prove scritte a risposta aperta: un singolo “Performance Task” e due “Analytic Tasks”: “Make an Argument” e “Critique an Argument” .
Nel “Performance Task” viene presentata allo studente una situazione immaginaria e assegnato un compito. Ad esempio, nel demo fornito dal CAE, una grande città in difficoltà di bilancio deve tagliare un progetto per le scuole medie: la scelta è tra un campeggio estivo in un parco naturale o un programma di tutoraggio didattico e sportivo. Lo studente deve redigere un memo indirizzato al city manager in cui analizza i due programmi e formula una raccomandazione su quale programma eliminare.
Riguardo gli analytic tasks, in “Make an Argument” agli studenti viene assegnata una traccia sotto forma di un’affermazione e hanno a disposizione 45 minuti per considerare ogni posizione sull’argomento e per motivarla. In “Critique an Argument” viene presentata un’altra traccia e allo studente viene chiesto di discuterne incongruenze e punti deboli in 30 minuti.
Gli elaborati vengono valutati secondo tre o quattro criteri: il livello di ragionamento analitico, l’efficacia dell’esposizione, la forma (grammatica, sintassi) e, solo per il performance task, la capacità di risolvere problemi. Per ciascun criterio viene assegnato un punteggio in una scala da 1 a 6.
Alla data del 2012 il CLA è stato utilizzato da università site in Irlanda, Hong Kong, Colombia, Portorico, Tailandia e Stati Uniti. I risultati di college e università statunitensi hanno fatto scalpore in quanto molto diludendo: secondo il libro-denuncia “Academically Adrift”, che riporta il risultato di uno studio condotto su 2000 studenti, dopo quattro anni di università ben il 36% dei valutati non ha mostrato alcun incremento “statisticamente significativo” rispetto al livello raggiunto al liceo.
La pubblicazione di “Academically Adrift” ha suscitato negli USA delle vivaci polemiche che hanno fatto finire il CLA sotto la lente di ingrandimento, e ben presto hanno cominciato ad emergere una serie di difetti che ne hanno rapidamente sgretolato la credibilità. Oltre a puntare sull’analisi dei dati , le critiche si sono concentrate sul metodo di valutazione in sé ma anche sull’oggetto della valutazione.
Le critiche – il valore aggiunto medio di ateneo
Le prime critiche hanno rilevato un difetto di base del CLA: il fatto di essere un unico test generalista con la pretesa di voler valutare il “valore aggiunto” medio di un intero ateneo. Innanzitutto, questa caratteristica fa sì che il test non possa venire impiegato per valutare la capacità dei singoli studenti: è inevitabile che, a seconda delle specifiche tracce assegnate nei vari tasks, gli studenti di alcuni corsi di studio saranno favoriti rispetto ad altri. Nell’esempio riportato (la grande città in difficoltà di bilancio) è evidente che uno studente di economia sarà mediamente avvantaggiato rispetto ad un iscritto a chimica o a lingue. Questo effetto si traduce in artificiali discrepanze di risultati tra un politecnico, un ateneo generalista e la Bocconi, tanto per fare un esempio. Questo problema del CLA è stato confermato anche dall’OCSE nell’AHELO Feasibility Study Report – Volume 2 per atenei di diverse nazioni
D’altra parte, oltre che al livello individuale, questo “valore aggiunto” mediato si dimostra molto poco utile anche a livello di ateneo. Un sistema di valutazione, per essere valido, deve essere finalizzato ad incrementare la qualità dell’ateneo: per fare questo deve fornire delle informazioni utili ad individuare con precisione i punti deboli, in modo da poter pianificare interventi correttivi. Ma, come è facile capire, l’informazione sull’ammontare di “valore aggiunto” erogato è ben poco significativa se è mediata su studenti di corsi di laurea completamente diversi, come fa il CLA. Oltre a ciò (ed è lo stesso Roger Benjamin, direttore del CAE, che lo afferma) il report CLA non può e non deve scendere nel dettaglio dei risultati conseguiti rispetto a ciascun singolo criterio di valutazione.
L’impostazione del CLA è olistica, pretende di condensare in un singolo numero tutta la complessità di un ateneo; punta a vedere la foresta disinteressandosi degli alberi, ma è solo a livello degli alberi (i dipartimenti) che si può agire per migliorare. Un po’ come se un medico si limitasse a misurare quanto i suoi pazienti stiano male senza entrare nel merito delle cause, ovvero delle loro malattie: magari può servire a fare una classifica del malessere, ma lo scopo dovrebbe essere quello di curarli, possibilmente con precisione chirurgica!
In definitiva, il concetto di “valore aggiunto medio di ateneo” è talmente vasto da rendere lo strumento spuntato e sostanzialmente inutile anche come strumento classificatore: secondo Douglass et al. una volta corretti i risultati in base al livello di partenza iniziale degli studenti (misurato dai test SAT) il valore aggiunto misurato dal CLA in diversi atenei statunitensi è sostanzialmente costante.
Le critiche – come viene valutato il test?
Ma le critiche non si sono fermate alla struttura del test: Kevin Possin ha analizzato in dettaglio la presentazione ufficiale del test CLA, nella quale viene illustrato con dovizia di particolari un test realmente utilizzato e ora ritirato dalla circolazione per essere utilizzato come esempio. Al termine dell’analisi Possin ha scoperto quello che definisce “a fatal flaw”, e ne ha ben donde perché è un difetto innegabilmente fatale: il test CLA fallisce nientemeno che nel suo scopo principale, ovvero misurare il livello di pensiero critico!
Possin si sofferma sull’esempio di “make an argument” contenuto nella presentazione ufficiale del CLA: la traccia proposta è “I finanziamenti statali sarebbe meglio destinarli alla prevenzione della criminalità invece che usarli per affrontare le sue conseguenze”. Il compito assegnato allo studente è: “Esprimere chiaramente una posizione e sostenerla con indizi e prove, considerando punti di vista alternativi oppure opposti alla propria argomentazione, sviluppando motivazioni logiche e convincenti e mostrando profondità e complessità di analisi riguardo alle questioni sollevate nella traccia”.
Nella presentazione vengono anche riportate tre risposte-tipo che rappresentano esempio di alta, media e bassa qualità, scelte dagli autori del test: ed è qui che arrivano le sorprese. La chilometrica risposta–tipo di “alta qualità” si rivela infatti un’autentica Caporetto della logica e del pensiero critico. In essa sono contenute: una banalità del tipo “l’affermazione contenuta nella traccia potrebbe essere falsa”; due argomenti dell’uomo di paglia; due false dicotomie; due fallacie del pendio scivoloso; un’argomentazione contraddittoria, che supporta sia una tesi che il suo contrario. Alla fine la risposta non riesce nemmeno a soddisfare la richiesta primaria, ovvero quella di esprimere chiaramente una propria posizione: si chiude infatti perfetto stile Ponzio Pilato, affermando che la questione della lotta alla criminalità dovrebbe essere semplicemente lasciata “al legislatore, alle Forze dell’Ordine, ai tribunali e ai cittadini”. [se vi state chiedendo come diamine possa essere la risposta di bassa qualità, la trovate a pagina 16 della presentazione, ma vi avvertiamo: il vostro sconcerto potrebbe aumentare!].
Il testo è ben scritto e scorrevole, ma è tutta retorica e niente sostanza. Il commento di Possin è lapidario: ”after reading this student’s response, I felt bullshitted”.
Il problema indotto dal fornire risposte-tipo non adeguate allo scopo va al di là di una brutta figura del CAE. Un’altra caratteristica inquietante del CLA è infatti il modo in cui vengono corretti e valutati gli elaborati, in quanto viene adottato un sistema del tutto inatteso in un contesto in cui si punta a misurare capacità logico-analitiche di livello superiore. Per il 90% degli elaborati il punteggio viene assegnato automaticamente da un software, l’Intelligent Essay Assessor prodotto dalla Pearson, ovvero la più grande multinazionale del mondo nel campo dell’editoria e dei servizi nel campo dell’educazione (include anche la casa editrice Penguin e il Financial Times). Il software viene calibrato dandogli in pasto circa un campione di circa 500 risposte, con le relative valutazioni assegnate da due umani differenti secondo linee guida definite dal CAE.
Vale la pena notare che l’utilizzo di algoritmi di correzione degli elaborati è in ascesa esponenziale (per ovvi motivi di economicità) e sta suscitando diffuse preoccupazioni. E’ di questi giorni la notizia di una mobilitazione di accademici contro la diffusione si questa pratica: ad oggi sono oltre 3.000 gli accademici statunitensi che hanno firmato una nitida petizione al riguardo, incluso Noam Chomsky. Se oltre alla stolidità dell’algoritmo aggiungiamo input umani che lasciano pesantemente a desiderare il disastro è pressoché completo.
Eppure la fiducia espressa dal CAE in questa procedura è pressoché illimitata: nel report relativo arriva addirittura al punto di affermare che la valutazione automatizzata sia su alcuni criteri “addirittura più accurata” di quella degli umani (!). La “prova” starebbe nel fatto che la discrepanza tra la valutazione di due umani diversi risulta mediamente più elevata di quella tra un umano e il calcolatore (!!): non si rendono neanche conto che, dal momento che il calcolatore è tarato mediando due umani, questi saranno ovviamente tra loro più distanti di quanto non lo sia il calcolatore da ciascuno di essi. In pratica, ragionamenti di questo tenore implicano che un calcolatore sia più abile di un umano non solo nel giocare a scacchi, ma anche nel problem solving e nel decision making: l’incubo fantascientifico di affidare i destini del mondo ad una grande “macchina delle selezioni” appare pericolosamente vicino.
Ritornando alle risposte tipo: come è dunque possibile che questi pessimi esempi siano addirittura utilizzati come materiale promozionale del test? Quali sono le cause di un simile autogol?
Il primo problema è che i test CLA si basano su un assunto quantomeno bizzarro: che il pensiero critico nasca per una sorta di “generazione spontanea”. Nei documenti CLA si legge infatti che anche se l’apprendimento dello studente universitario avviene all’interno di contesti disciplinari specifici e limitati, l’esperienza fatta in una particolare area scientifica fa sì che la conoscenza acquisita diventi “sufficientemente generalizzata” da consentirle di “trasferirsi” nel campo del ragionamento avanzato, del problem solving e del decision making a tutti i livelli.
Ma questo magico “trasferimento” esiste? E’ sufficiente essere esperti di un campo disciplinare per conoscere e gestire gli strumenti del pensiero critico di alto livello?
In realtà, pare proprio di no. Un significativo studio del 1995, condotto da Richard Paul sui docenti di 64 università californiane ha sollevato il velo su una realtà amara: non solo i professori capiscono poco di pensiero critico e di come insegnarlo, ma credono sinceramente (ed erroneamente) di esserne degli esperti. Ad esempio: nonostante ben l’89% dei professori abbia sostenuto che il pensiero critico costituisca un obiettivo primario della loro attività di docenti, solo il 19% è riuscito a definire il concetto di “pensiero critico” in modo soddisfacente; solo l’8% si è mostrato in grado di spiegare chiaramente che differenza c’è tra un assunto e un’inferenza. Il magico “trasferimento” non si vede affatto, anzi! Appare probabile che ideatori, estensori e correttori dei test CLA (reclutati in base al requisito piuttosto minimale di aver professionalmente valutato degli scritti) siano un campione rappresentativo della comunità accademica allargata e siano quindi privi di competenze specifiche nel campo della logica applicata e del pensiero critico.
Ma cos’è questo pensiero critico?
Il secondo problema va invece alla radice del concetto del CLA: è possibile misurare il pensiero critico in astratto? Indipendentemente dalle conoscenze specifiche e dall’ambito di applicazione? La risposta è no, e per un motivo molto semplice: definire che cosa sia il pensiero critico non è affatto semplice né scontato. Chi prova a farlo seriamente finisce inevitabilmente per scrivere lunghi componimenti che esaltano, invece che ridurre, la complessità del concetto. La verità è che non esiste una definizione semplice e condivisa di “pensiero critico”: la questione è anzi motivo di dispute non banali e per di più appare evidente che la nozione di pensiero critico non possa prescindere da considerazioni di tipo filosofico ed etico. Stephen Brooksfield pone la questione molto chiaramente: chi piega la propria intelligenza alle esigenze di mercato dell’attuale sistema capitalistico per massimizzare il proprio personale profitto immediato a discapito della collettività (e anche del suo stesso futuro) sta “pensando criticamente”? O forse il pensiero critico viene meglio esercitato da chi si oppone a queste logiche e tenta invece di realizzare forme di società alternative, come fecero gli operai dei consigli di fabbrica durante l’occupazione della FIAT nel 1920?
Il CLA non misura quindi (perché è impossibile farlo) la complessità del pensiero critico, ma solo alcune capacità logiche ed espressive arbitrariamente selezionate dai suoi ideatori, per di più in contesti artificiali, semplificati e in definitiva non generalizzabili. La sua pericolosità sta però proprio nella sua pretesa di misurarlo, perché così facendo impone una sua particolarissima definizione di pensiero critico che, con la complicità dell’OCSE e del nostrano connubio gattovolpesco ANVUR-MIUR, spazza via d’incanto ogni dibattito e diventa lo standard di riferimento in base al quale impostare l’intera preparazione universitaria dei nostri studenti.
n conclusione: che fare?
In definitiva, il CLA è uno strumento non solo inutile, ma addirittura dannoso nella misura in cui viene utilizzato per indirizzare le strategie didattiche di un ateneo o peggio di un intero sistema universitario, con tutte le ovvie e drammatiche ricadute che ciò comporta sull’intera struttura sociale. Sono molte le voci autorevoli che si sono levate per scongiurare un simile tragico scenario, ma il treno del CLA continua a procedere spedito, spinto dagli apprendisti stregoni dell’OCSE che perseguono l’incubo di misurare qualsiasi cosa. In questa situazione la domanda che appare più urgente l’hanno posta Douglass, Thomson e Zhao: “come si può fare per far capire meglio ai ministri e agli altri decisori politici i pericoli di un test di questo tipo”?
La nostra impressione è che, nell’attuale situazione politica, elaborare e proporre nuovi e sempre più cogenti ragionamenti che evidenzino le lacune e i danni del CLA non sarà sufficiente. Sono tanti, troppi coloro che oggi supinamente accettano o (in alcuni casi) addirittura implementano con entusiasmo provvedimenti destinati a radere al suolo le possibilità di un futuro cambiamento della società. E’ più che mai necessaria l’apertura di un dibattito pubblico che metta in movimento le coscienze, le menti, e i corpi contro questa perversa meritocrazia, che serve solo a garantire i privilegi a coloro che sono già privilegiati: possibilmente prima che lo sprofondamento sia tale da rendere impossibile il risalire.
www.roars.it/online/unaltra-clava-sta-per-abbattersi-sulluni...