Alcune questioni che girano attorno all'intelligenza artificiale sono spesso molto più interessanti e stimolanti di quelle che tipicamente si discutono diffusamente (tipo: dove andremo a finire? Saremo superati? Continueremo a lavorare? Ecc.).
Una di queste, tutto sommato molto semplice (almeno a livello descrittivo) è il concetto di temperatura. Una IA può lavorare a diversi stati di temperatura e dare prestazioni anche significativamente differenti.
La temperatura è un parametro macroscopico che caratterizza un sistema termodinamico, e si traduce nella quantità di energia cinetica dei suoi componenti interni microscopici. Ad un aumento di temperatura corrisponde un aumento dell'energia cinetica media delle particelle di un gas e quindi un aumento della loro mobilità. Poiché non possiamo seguire le singole particelle nelle loro evoluzioni esatte la nostra descrizione del loro comportamento sarà di tipo statistico, il sistema all'aumentare della temperatura visita uno spazio delle configurazioni più ampio, possiamo dire che aumenta il movimento casuale (parliamo in linea di principio di un sistema completamente deterministico, di cui però perdiamo la capacità di descriverlo con esattezza), aumenta il rumore.
Il concetto di temperatura introdotto nell'IA procede un po' per analogia al corrispondete concetto termodinamico, direi anche in modo significativo. Un modello di IA (ad esempio una rete neurale addestrata) è di fatto un sistema perfettamente deterministico, cioè alle stesse premesse in input corrispondono le stesse conseguenze in output. Questo molto spesso non soddisfa la definizione di un comportamento intelligente (si pensi ad un chatbot che allo stesso identico prompt risponde sempre esattamente allo stesso modo). Avere delle risposte leggermente variate fornisce al sistema una maggiore "credibilità". A questo serve la regolazione della temperatura come parametro che caratterizza lo stato di funzionamento dell'IA. Se la temperatura è nulla il sistema rimane perfettamente congelato nel suo comportamento deterministico, man mano che la temperatura cresce il sistema acquista una componente rumorosa casuale nel suo output che la porta a diversificare leggermente ogni volta le sue risposte. Più esattamente (per un LLM) l'aumento della temperatura consente al sistema di scegliere in output non solo la parola più probabile ma anche parole che hanno ottenuto un "punteggio" più basso e che in linea di principio andrebbero scartate. Il sistema esplora su un insieme di possibilità caratterizzate da uno stesso livello minimo di probabilità e che le rende equivalenti ai fini della scelta che, limitatamente all'insieme ottenuto, risulterà casuale. Questo rumore nella scelta rende il comportamento della chatbot molto più "realistico".
Torniamo all'analogia con la termodinamica. Se il sistema è più rumoroso la sua descrizione sarà necessariamente meno precisa, il sistema nel suo complesso risulterà più "sfocato" (è aumentata la sua entropia). Un sistema "congelato" in un unico stato è descrivibile in modo più preciso (ordinato). Questa precisione però nega altre possibilità al sistema, non consente al sistema di diversificare il suo comportamento o di riaggiustarsi in funzione di eventuali cambiamenti esterni. Il sistema appare meno flessibile.
Nel caso dei sistemi di IA si introduce, in maniera magari un po' discutibile ma secondo me molto pertinente, il concetto di creatività. Si dice cioè che l'aumento della temperatura del sistema toglie precisione ma aggiunge creatività, e pone sempre in tal modo un problema di regolazione per ottenere il raggiungimento di uno stato ideale di equilibrio che ovviamente dipende dall'obiettivo che voglio raggiungere (temperatura più bassa per un sistema di traduzione, in cui devo privilegiare la precisione, temperatura più alta per la produzione di contenuti, sia linguistici che visivi o sonori).
Il fatto di calibrare in un sistema di IA il suo contenuto di creatività, peraltro legandolo semplicemente all'aggiunta di componenti casuali, risulta sicuramente un po' bizzarro, e ovviamente suscita comprensibilmente un certo scetticismo. Il termine "creatività" potrebbe essere percepito come improprio. Ma invece la cosa stimolante viene proprio da questo. Come non sappiamo caratterizzare ancora in maniera soddisfacente il concetto di intelligenza, non sappiamo farlo neanche con il concetto di creatività. Sono concetti che tendono a rimanere aree protette del nostro essere umani, zone delicate in cui riponiamo la nostra essenza, insomma roba che ci dà fastidio toccare con troppa leggerezza e semplicità.
Invece un'altra analogia secondo me feconda viene dalle teorie di evoluzione biologica. E' indubbio che il processo di evoluzione naturale è risultato in tutta la sua storia un processo estremamente creativo, basta guardarsi intorno e osservare quotidianamente le "infinite forme bellissime" (Sean. B. Carroll) che ha creato. Ma come è ben noto il meccanismo utilizzato dall'evoluzione è in sintesi un trial and error, dove il trial è generato da meccanismi puramente casuali e l'error è semplicemente il riscontro pratico con l'ambiente (premiante o meno). Cioè anche in questo caso il concetto così misterioso di creatività è semplicemente legato alla capacità del sistema di poter esplorare soluzioni leggermente diverse in modo del tutto casuale.
Il concetto di temperatura, intesa in generale come possibilità di muoversi casualmente nelle vicinanze di un comportamento collaudato, mi sembra una buona approssimazione dell'idea di creatività, che altrimenti rimane sempre troppo vaga e misteriosa.
Nessun commento:
Posta un commento