sabato 15 aprile 2023

Il lato oscuro dei Big Data (*)

Sarah stava davanti al suo dirigente scolastico, a tu per tu nel suo studio, ed era preoccupata e perplessa. Aveva appena ricevuto la notizia del suo licenziamento. Preoccupata per il suo immediato futuro lavorativo ma ancor più perplessa perché non riusciva a capirne le motivazioni. L'uomo di fronte a lei appariva visibilmente imbarazzato, anche lui incredulo della notizia che stava dando ad una persona che riteneva certamente tra le sue migliori insegnanti.

"Può darmi una spiegazione di questo licenziamento?". Il dirigente scolastico faticava a cominciare a parlare. Poi prese a dare una spiegazione che via via che andava avanti sembrava fare riferimento a delle ragioni che stavano al di sopra delle sue personali convinzioni. Ragioni 'tecniche' molto precise e, in un certo senso, inconfutabili. Contro le quali non era il caso di opporsi. La scena era un po' surreale visto che lui in virtù della sua posizione era responsabile di tutte le più importanti decisioni che riguardavano l'istituto, compresi ovviamente i licenziamenti.

Le scuole della città, da circa un paio d'anni, ricorrevano ad un sistema di valutazione degli insegnanti fornito e gestito da una società di consulenza esperta in raccolta ed elaborazione dati. La decisione di ricorrere ad un tale strumento era stata presa dalla giunta comunale della città e fortemente voluta dal suo sindaco che, esasperato dagli scarsi risultati degli studenti dell'ultimo anno di scuola media inferiore, aveva deciso di riformare il sistema scolastico cittadino. L'idea era che i ragazzi non imparavano abbastanza perché gli insegnanti non erano all'altezza. Si trattava quindi di ideare e utilizzare un sistema di misurazione della qualità dei docenti ed eliminare tutti quelli che non raggiungevano i risultati desiderati. Da qui il licenziamento di Sarah, che nell'anno scolastico precedente aveva ottenuto un punteggio misero.

"Posso sapere come funziona il sistema di valutazione utilizzato?". A questa domanda l'imbarazzo del dirigente scolastico si fece ancora più evidente. Gli algoritmi utilizzati erano molto complessi, impiegavano un numero molto elevato di parametri su cui facevano complicate elaborazioni statistiche per tener conto di tutte le motivazioni che abbassavano o mantenevano scarsi i rendimenti degli studenti, dal loro background socioeconomico alle loro intrinseche difficoltà di apprendimento, fino alla qualità dell'insegnamento, il vero obiettivo finale del sistema di misurazione. In pratica non se ne sapeva molto circa questo algoritmo, essendo stato elaborato da una società specializzata in questo tipo di cose e per tale motivo direttamente incaricata dal comune. Forse questa società non era neppure molto interessata a comunicare i dettagli del proprio algoritmo. Ma nascondere questi dettagli aveva anche un altro importante scopo: se le persone sottoposte a valutazione vengono tenute all'oscuro di come funziona il sistema avranno minori probabilità di poterlo ingannare, dovranno solo lavorare al meglio delle loro possibilità.

"A tutto il resto ci pensa l'algoritmo. Lei legge il punteggio finale e prende le sue decisioni di conseguenza. Anziché sforzarsi di interpretare la realtà preferisce crearla con un punteggio. Non crede ci sia uno scarico di responsabilità? Come giustifica il fatto di valutare le persone con un metro che lei non è in grado di spiegare?". Silenzio. Il dirigente cominciò a farfugliare cose poco convincenti sulla enorme complessità di questi modelli di calcolo, su quanto vengono studiati in tutto il mondo, sulle loro grandi capacità di leggere le situazioni reali meglio di qualunque essere umano, ecc.

"E' sicuro della validità statistica di questo modello di calcolo? Perché mi viene da pensare che se si dovessero analizzare gli insegnanti con rigore statistico si dovrebbero testare i loro risultati su migliaia di studenti selezionati in maniera casuale. Questi algoritmi di cui parla hanno in definitiva solo pochi numeri da confrontare. E poi i fattori che concorrono all'apprendimento e all'efficacia dell'insegnamento sono talmente tanti che mi pare molto difficile se non impossibile riuscire a misurarli tutti e a tenerne conto in modo appropriato in una valutazione complessiva. Non crede?". Ancora silenzio. "Un ultima cosa: non ci dovrebbero essere dei modi per valutare a posteriori l'efficacia di questi sistemi ed eventualmente correggerli? Altrimenti si corre il rischio non di rappresentare una realtà ma di inventarne una ad hoc per giustificare i risultati ottenuti. Per poi dire che è l'algoritmo che ha calcolato questo risultato, non ci si può far niente. Si rende conto del pericolo?".

Il povero dirigente scolastico, senza più argomenti, si limitò a mostrare una serie di grafici parziali che attestavano gli scarsi risultati della sua dipendente nel corso dell'anno precedente. Facevano perlopiù riferimento ai voti ottenuti dagli studenti durante l'anno, messi in relazione con quelli dei loro coetanei delle altre classi e con i loro stessi risultati negli anni precedenti. Era chiaro che i voti degli studenti nel test standardizzato avevano un peso notevole nella formula finale di valutazione.

"Mi scusi, io ricordo bene che i ragazzi che presi all'inizio dell'anno avevano quasi tutti ottenuto un test di uscita dalla scuola precedente che attestava un buon livello di istruzione raggiunto, ma il problema è che sin dalle prime lezioni constatai grosse difficoltà che a giudicare dal risultato dei test non mi sarei dovuta aspettare. Questa cosa non le sembra sospetta? Avete provato a controllare le modalità di esecuzione di questi test? Non potreste provare a ripeterli prima di iniziare l'anno scolastico? Non avete il sospetto che gli insegnanti della scuola di uscita abbiano ritenuto conveniente dare degli 'aiutini' ai loro studenti? E questo proprio in virtù degli esiti della loro stessa valutazione? Perché se questo risultasse vero significa che gli algoritmi di valutazione degli insegnanti sono in realtà diventati un potente strumento di modifica del comportamento. Ciò sarebbe gravissimo sia per il sistema di valutazione sia più in generale per la didattica. Mi viene da pensare che la ragione più importante del mio scarso punteggio sia proprio questa. I voti dei miei ragazzi al termine dell'anno probabilmente evidenziano un calo nel profitto causato essenzialmente dai test precedenti gonfiati ma di fatto attribuito alla mia presunta incapacità di insegnare. Cosa mi dice?".

La scatola nera del modello di calcolo utilizzato aveva tirato fuori un punteggio che determinava il licenziamento di Sarah, e quando lei tira fuori obiezioni e osservazioni 'che fanno pensare' in realtà questo non basta. Sarah era implicitamente chiamata a fornire dimostrazioni di livello decisamente superiore rispetto agli stessi algoritmi.

Il dirigente scolastico stava preparando insieme alla lettera di licenziamento anche una lettera di presentazioni che confermava le doti di ottima insegnante e con cui Sarah troverà in breve tempo un nuovo lavoro. Lo troverà in una scuola privata di un quartiere ricco della città, che può permettersi una selezione individuale degli insegnanti, senza ricorrere ad una gestione 'all'ingrosso' di una valutazione basata su grandi numeri e sul lavoro veloce e poco costoso delle macchine. Così una scuola povera di mezzi ha perso una valida insegnante mentre una scuola ricca ne ha trovata una.

(*) Rielaborazione di un fatto reale raccontato nell'introduzione al libro Armi di distruzione matematica di Cathy O'Neil (2017).

Nessun commento: