Entropia e creatività negli LLM

Qualche tempo fa ho scritto un post che associava la temperatura, un parmetro che può essere variato all'interno di un LLM e ne aumenta il grado di casualità nella scelta dei token più probabili, alla creatività, allargando il discorso ad altro, come i sistemi termodinamici e l'evoluzione biologica. Recentemente ho letto un articolo che riporta dei risultati di uno studio che mette a confronto l'intelligenza umana e quella artificiale dal punto di vista della cosiddetta "creatività divergente" ("A large-scale comparison of divergent creativity in humans and large language models").

NOTA 1: La creatività divergente è l'abilità di generare soluzioni originali per problemi aperti, espandendo il pensiero in direzioni diverse (il motore che permette di esplorare nuovi territori). Al contrario, la creatività convergente è l'abilità di formare associazioni e trovare collegamenti tra concetti o parole apparentemente distanti o contrapposti (la bussola che permette di unire i punti).

L'articolo, difficile da leggere quando racconta i metodi utilizzati per indagare l'argomento, è però abbastanza semplice (mi pare) nelle sue conclusioni, che mettono in risalto due cose, la prima è che gli esseri umani mantengono un vantaggio significativo nella varietà dell'uso del vocabolario, cioè dimostrano una capacità superiore di generare un repertorio più ampio di risposte uniche e variegate, al contrario delle IA che tendono a ripetere gli stessi termini. La seconda è che se si tenta di aumentare la "creatività" dell'intelligenza artificiale, aumentandone la "temperatura" (secondo l'idea riportata nel mio post precedente), si tende ad ottenere degli output privi di senso. Questo probabilmente perché l'IA si basa esclusivamente sulla manipolazione statistica, mentre la creatività umana emerge da un intreccio di esperienze vissute, contesti emotivi e comprensione semantica.

Riallacciandomi alle considerazioni del mio post precedente in cui parlavo del meccanismo con cui la natura indubbiamente risulta essere creativa, mi pare che nel caso dell'IA la cosiddetta "temperatura" risulta essere solo un meccanismo di generazione di casualità che non può essere sufficiente ad esprimere creatività. Evidentemente la creatività, come nel caso dell'evoluzione, ha bisogno sia di esplorare nuove possibilità sondandole casualmente sia di metterle alla prova in un'esperienza reale e non solamente testando la sua plausibilità statistica. All'IA, in particolare ad un LLM, manca la capacità di fare esperienza del mondo reale. Almeno per il momento.

L'articolo è stato anche commentato su Facebook da Walter Quattrociocchi: «Gli autori provano a “spingere” i modelli. Aumentano la temperatura, li istruiscono a essere creativi, li invitano a usare l’immaginazione, a massimizzare l’originalità. Il risultato è sempre lo stesso schema: inizialmente il punteggio sale, poi il sistema deraglia. Compaiono parole senza senso, combinazioni spurie, rumore linguistico. La diversità cresce, ma il significato si dissolve. È un aumento di entropia, non di creatività».

NOTA 2: nella nota precedente ho suggerito forse l'idea che in fondo lo studio fatto e riportato sull'articolo sia approdato a risultati che potevano essere intuiti molto facilmente e che, col senno di poi, potrebbero essere considerati scontati. Ecco, è importante sottolineare l'espressione "col senno di poi". Per costruire conoscenza è spesso necessario e sempre molto importante "verificare" le cose intuitive attraverso misure precise fatte sulla realtà, perché dovrebbe essere sempre molto ben presente il fatto che l'intuizione può portare a pensieri scollegati dalla realtà e può essere fonte di bias cognitivi. L'intuizione da sola non è mai da considerare sufficiente nel processo di costruzione della conoscenza. Quindi l'articolo in questione, sebbene possa far pensare di "scoprire l'acqua calda" è il risultato di un lavoro concettualmente molto importante.

Liceo Classico

In questi giorni è uscita una statistica che rivela e conferma un calo costante di iscritti al liceo classico. Questa cosa viene letta da molti come un grave problema della cultura italiana e collegato alle statistiche che vedono aumentare il cosiddetto analfabetismo funzionale.

Vorrei dire che quando si parla di analfabetismo funzionale vengono misurati due aspetti entrambi importanti, che nel linguaggio anglosassone vengono chiamati "literacy" e "numeracy". Secondo me nei decenni precedenti la scuola italiana ha sfornato una classe dirigente tutta formata con il liceo classico, che si permetteva (anche con un certo snobismo) di dire che non sapeva niente di matematica. Sarebbe importante sottolineare che nella società attuale (ma anche in quella passata) questo significa semplicemente autodenunciarsi come analfabeti funzionali.

Io sono un progressista, penso che il liceo classico sia un'ottima scuola ma non per questo deve rimanere cristallizzata per i prossimi centocinquant'anni. La scuola va riformata, ed è necessario farlo prima di tutto superando atteggiamenti conservatori che considerano il liceo classico "sacro e inviolabile".

Il controllo elettronico

Tempo fa un podcast di lettura dei giornali parlava, manco a dirlo, di femminicidi. La cosa interessante era il fatto che tra le ragioni che venivano individuate in queste "anomalie" di comportamento interpersonale e affettivo (chiamiamole così) c'era il controllo dell'altro e, in particolare, le nuove forme di controllo elettronico che possono essere utilizzate.

E' una cosa a cui non avevo pensato, o non l'avevo focalizzata bene, però effettivamente i nuovi strumenti tecnologici permettono delle pratiche di controllo sulle persone che possono rendere tossici i rapporti sociali, un po' a tutti i livelli. L'utilizzo di social può trasformarsi in un controllo capillare dei comportamenti dell'altro, la geolocalizzazione (che pare essere molto utilizzata) è un'altra forma ossessiva che rassicura sia il controllante che il controllato ma finisce per essere una forma degenerata delle relazioni interpersonali.

Forse una parte della colpa è anche dei genitori e del loro comprensibile bisogno di mettere sotto protezione i figli e di ricevere rassicurazioni dai nuovi strumenti a disposizione.

Ma i rapporti sociali SANI, di qualsiasi tipo e a qualsiasi livello, devono basarsi necessariamente sulla LIBERTA' e sulla FIDUCIA, non può essere altrimenti. Le forme di controllo minano questa libertà, e sebbene inizialmente possano essere percepite positivamente, alla lunga diventano delle perversioni. Anche da queste cose, che forse vengono sottovalutate, può esercitarsi un residuo di cultura patriarcale inquinante e pericolosa.

La ricompensa

Succede che mio figlio si laurea e io non gli faccio nessun regalo. Già qualche anno fa scrissi un post su questo argomento. Nel post citavo l'episodio di Perelman che per me rimane un esempio, certamente ben poco imitabile da chiunque (me compreso). La sua frase ("Se la dimostrazione è corretta, allora non c’è bisogno di altri riconoscimenti") è al tempo stesso una critica coraggiosa ai meccanismi di ricompensa economica come fine ultimo di tutte le attività umane, e l'indicazione di come le proprie azioni possano essere invece mosse da obiettivi interni al proprio operare. Un gesto di ribellione verso un mondo che misura tutto con il denaro, che non riconosce altre motivazioni, che scredita il valore delle cose che si fanno subordinandole ad una ricompensa fuori contesto e alla fine sempre di natura economica. Un gesto a suo modo rivoluzionario.

Osservo un aspetto curioso del nostro tipico modo di pensare: se la rinuncia alle ricchezze viene da un personaggio all'interno di un ambito religioso, questa è accettata e riconosciuto come un valore, a chi la compie gli si riconosce spesso anche uno stato di Santità. Se la stessa rinuncia viene fatta al di fuori dell'ambito religioso, tipicamente viene considerata una sciocchezza, e chi la compie rischia di essere deriso. Perché? Evidentemente gioca sempre un ruolo importante il meccanismo di ricompensa. Il comportamento di Santità ha una ricompensa su un piano che trascende il mondo, ma sempre di ricompensa si tratta. Se lo stesso comportamento avviene in ambito laico la ricompensa inevitabilmente scompare (o comunque non viene considerata), e lo scopo dell'azione è tutto interno all'azione stessa ("Se la dimostrazione è corretta ...").

In generale mi pare che non si esca dalla logica della ricompensa, materiale o spirituale. Ma in fondo che differenza c'è? Cosa c'è di più "materiale" della vita eterna?

NOTA: magari se si indaga un po' non è esattamente vero che molte religioni suggeriscono questo meccanismo, ma secondo me questo è senz'altro il meccanismo della maggior parte delle persone che più o meno consapevolmente usano la loro fede in maniera strumentale. Che poi, rovesciando il discorso, è proprio questo meccanismo che ha consentito e consente l'uso strumentale della fede da parte di istituzioni di potere.

Una necessità biologica

Ultimamente ho avuto modo di constatare (o solo di avere una mia impressione) che ci sono persone che applicano un buon livello di razionalità in molti argomenti della vita quotidiana (attenzione alla logica, ragionamenti sui dati, riscontri su osservazioni di situazioni reali, verifiche, ecc.). Queste stesse persone però in alcuni ambiti sembrano abbandonare questa razionalità, più o meno consapevolmente, per favorire un atteggiamento "accogliente" verso qualsiasi affermazione, giustificato dalla volontà di coltivare il dubbio, motore della conoscenza. Peccato che nel coltivare questo dubbio perdono la capacità di analizzare le affermazioni e di categorizzarle in buone, meno buone e irricevibili, sulla base di considerazioni logiche, razionali e di aderenza alla realtà (mi viene sempre in mente la famosa "teiera di Russel"). Il risultato è che molte affermazioni vengono poste sostanzialmente sullo stesso piano e ricevono la stessa dignità, quindi la stessa necessità di metterle alla prova. Ricevono lo stesso beneficio del dubbio. Queste stesse persone secondo me non cadrebbero mai in questo errore all'interno delle loro professioni, dove sono sicuramente in grado di distinguere un'affermazione degna di attenzione da una semplice sciocchezza immediatamente ignorabile.

E' chiaro che a segnare questo limite è la nostra conoscenza. Dove questa è carente è più difficile per noi distinguere tra un'affermazione interessante e una evidente falsità. Però ci dovrebbe essere anche una questione di metodo, unita ad un certo pudore nell'esprimere pareri netti dove non abbiamo mezzi sufficienti. La conoscenza è un patrimonio collettivo ma è anche vero che a portarla avanti in qualsiasi campo sono una minoranza di specialisti a cui inevitabilmente va riposta una certa fiducia. Attenzione, non fiducia nel singolo, fiducia in una comunità, per quanto ristretta rispetto alla società intera.

L'atteggiamento di cui parlo non riguarda tutti gli ambiti del sapere, almeno non mi sembra, investe invece soprattutto il pensiero scientifico inteso come riflessione razionale sulla natura. Ho il sospetto che sia sempre più evidente un rifiuto inconscio di questa razionalità sul mondo naturale che lascia il posto ad un desiderio ancestrale di irrazionalità, quella che per tutta la nostra storia ha alimentato il mondo del trascendente, espresso nelle forme più disparate ma sempre presenti nella nostra evoluzione di esseri pensanti, e che gioca evidentemente una parte tanto importante nella nostra vita. Lo schiacciamento inevitabile che il pensiero razionale sulla natura applica a questo aspetto del nostro inconscio genera atteggiamenti schizofrenici, un misto di scienza e misticismo, dove tutto deve essere messo in discussione perché anche il soprannaturale abbia il suo posto e giochi il suo ruolo nella natura.

Secondo Eugene Wigner anche Jancsi (John Von Neumann) alla fine della sua vita faceva considerazioni simili (dal libro Maniac). Jancsi aveva vissuto una vita all'insegna di un approccio più che razionale, qualcuno lo definisce un approcio "pan-matematico". Ma durante la sua malattia che lo porterà in breve alla morte fa delle considerazioni sulla natura umana e sul mondo che per lui sono del tutto insolite e che io ritrovo in parte nelle osservazioni che ho appena fatto.

Wigner scrive: "«Gli dèi sono una necessità biologica, intrinseca alla nostra specie come il linguaggio o i pollici opponibili». Secondo lui, la fede aveva garantito ai popoli primordiali una fonte di forza, potere e significato che all’uomo moderno mancava completamente; ed era a questa mancanza, a questa perdita profonda, che ora la scienza doveva dedicarsi". Aggiungo che non si capisce bene in che senso la scienza si dovrebbe dedicare a questa perdita profonda, sebbene forse questa perdita effettivamente c'è.

Wigner prosegue: "Jancsi pensava che, se intendeva sopravvivere al Novecento, la nostra specie avrebbe dovuto colmare il vuoto lasciato dalla scomparsa degli dèi, e la sola e unica candidata a riuscire in questa strana trasformazione esoterica era la tecnologia: la nostra conoscenza tecnica in continua espansione era l’unica cosa che ci distinguesse dai nostri progenitori, dato che in fatto di etica, filosofia e pensiero generale non eravamo meglio (anzi, eravamo molto, molto peggio) dei greci, ...". E ancora: "La civiltà era progredita a un punto tale che le vicissitudini della nostra specie non potevano più restare affidate alle nostre stesse mani; avevamo bisogno di qualcosa d’altro, di qualcosa di più". Chissà se la nostra rivoluzione digitale attuale, ora in impennata con le nuove tecnologie AI, avrebbe risposto positivamente alle preoccupazioni di Jancsi.

Forse John Von Neumann, in quel momento drammatico della sua vita, aveva intuito un problema serio, suo e dell'umanità.

 

Di chi sono i figli

Ho sempre pensato che un figlio, come qualunque altra persona, non è proprietà di nessuno, tantomeno dei suoi genitori. Trovo il concetto di proprietà sui figli del tutto aberrante. Credo che un genitore abbia solo il compito di accompagnare il figlio nel suo percorso di crescita e metterlo nelle condizioni di fare delle scelte consapevoli e di potersi trovare la sua strada. Eppure la nostra attuale presidente del consiglio in un discorso pubblico dice proprio il contrario: "Perché i figli non sono dello Stato, non sono di una ideologia, i figli sono delle mamme e dei papà e uno Stato che pretenda di sostituirsi a quelle mamme e a quei papà ha dimenticato i suoi limiti".

Ma perché sostiene questa idea di proprietà, rimpallandola tra la famiglia, lo Stato e le ideologie? In quale contesto la tira fuori? Lo fa parlando della recente norma ministeriale sull'educazione sessuale, infatti poco prima aveva detto: "Sono orgogliosa che il nostro governo stia difendendo la libertà educativa e il ruolo dei genitori nell'educazione dei figli, per questo rivendico con orgoglio la norma sul consenso informato per l'educazione sessuale nelle scuole, perché una volta per tutte educare i figli su materie così delicate è compito dei genitori, lo Stato non può sostituirsi alla famiglia, può sostenerla, può accompagnarla, ma niente di più".

Sembra che le idee aberranti non vengano mai sole. Per quale motivo l'educazione sessuale dovrebbe essere considerata "una materia così delicata"? Tutte le altre materie che vengono insegnate a scuola non sono altrettanto "delicate"? Almeno se per questo si intende l'importanza di quello che viene insegnato per la formazione e la maturità dei ragazzi. E poi perché, dal momento che la materia viene considerata delicata, c'è bisogno del consenso informato dei genitori? Quando mai i genitori sono considerati esperti di una materia tanto da decidere se e come dovrebbe essere insegnata? Evidentemente siccome la materia è delicata e i figli sono proprietà dei genitori questi ultimi decidono su quello che deve essere insegnato nella scuola pubblica.

Se una famiglia cresce ed educa i suoi figli non lo fa perché li considera una sua proprietà. Se lo Stato finanzia la scuola pubblica non lo sta facendo perché accampa diritti di proprietà sui suoi giovani cittadini. La scuola pubblica garantisce uno stesso livello di istruzione a tutti i cittadini, qualunque sia la famiglia di provenienza, il suo livello culturale, le sue condizioni sociali ed economiche. La scuola pubblica è un fondamentale strumento di democrazia, fintantoché impartisce insegnamenti allo stesso modo a tutti.

IA simbolica e pratica

Sfogliando un social mi imbatto in un commento sull'intelligenza artificiale. Di questi tempi i social sono pieni di commenti su questa nuova tecnologia, però questo è interessante. Si chiede per quale motivo la guida autonoma è ancora molto limitata e pochissimo utilizzata, mentre invece i modelli linguistici oggi scrivono codice, riassumono articoli, traducono simultaneamente, e per questo hanno un successo notevole e un utilizzo diffuso. "Gli LLM hanno superato le aspettative, la guida autonoma no".

Non è molto facile trovare le parole giuste per descrivere bene il motivo di questa differenza di successo, ma il post trova una motivazione sintetica e chiarissima: "Perché il mondo reale è infinitamente più complesso di quello simbolico". In fondo non ci voleva molto. E' difficile far fare delle operazioni pratiche ad una intelligenza artificiale, molto più che fargli fare elaborazioni astratte. Molto più facile fargli elaborare simboli piuttosto che fargli restaurare un mobile antico (battere chiodi di diversa lunghezza, avvitare viti tutte diverse, incollare pezzi delle forme più strane, ecc.). Conclude dicendo che "Fa sorridere il fatto che, nell'epoca dell'intelligenza artificiale, i mestieri classici più resilienti siano quelli pratici (falegname, idraulico, ecc.)".

Poi, mentre ancora pensavo a queste considerazioni, si affaccia un commento altrettanto interessante e purtroppo pure un po' inquietante che dice: "Il mondo reale è complesso, il campo di battaglia meno (e gli errori contano poco). Il lato militare di queste ricerche è purtroppo molto poco presente nel dibattito pubblico. Sarebbe forse il caso di ragionarci un po’ sopra, ammesso che non sia già troppo tardi".