Spegnendo lo spazio di lavoro interno di un modello, la fluidità resta e il ragionamento crolla. E l'informazione che il sistema eredita l'abbiamo già pagata noi.
Il 6 luglio Anthropic ha pubblicato un risultato di interpretabilità che quasi tutti hanno letto come una notizia sulla coscienza. Non è lì la parte interessante.
Hanno trovato dentro Claude un piccolo insieme di pattern interni — lo chiamano J-space — che funziona come uno spazio di lavoro: contiene ciò che il modello ha in mente senza dirlo. Poi hanno fatto la cosa che conta davvero. L'hanno spento.
Senza quello spazio il modello continua a parlare in modo fluente. Classifica il sentiment, risponde a scelta multipla, estrae fatti da un testo, più o meno come prima. Quello che crolla è il ragionamento a più passi: praticamente a zero. Riassunto e rima scendono sotto il livello di un modello molto più piccolo, ma intatto.
Ho scritto, arrivandoci per tutt'altra strada, che un testo può venire al mondo in due modi: compresso e pensato. Questo esperimento mi conferma e mi corregge, e la correzione vale più della conferma.
Non sono due qualità del prodotto. Sono due percorsi — e lo stesso identico prodotto può uscire da entrambi. L'esempio più netto è questo: dai al modello un brano in spagnolo e sostituisci "spagnolo" con "francese" nel suo spazio di lavoro. Se gli chiedi che lingua sia, risponde francese. Se gli chiedi di proseguire il brano, prosegue in spagnolo perfetto. Stessa conoscenza, due strade.
La conseguenza è ruvida: dal testo non si risale alla strada. Non leggendolo meglio, non leggendolo con più attenzione. Il segnale non c'è. Me ne sono accorto a mie spese — un errore sicuro, fluente e completamente sbagliato, che ho smascherato solo con un test esterno al testo.
Poi c'è il dato che mi ha fermato. Quello spazio vale meno di un decimo dell'attività interna e tiene poche decine di concetti per volta. Non è dove sta la massa: è dove sta la connessione. I suoi pattern hanno un numero di componenti che leggono e scrivono su di loro fino a un centinaio di volte superiore al normale. Non un canale nuovo — il canale c'era già, e ci passa tutto: sono poche direzioni privilegiate dentro quello. Non un organo. Un regime di comunicazione.
E nessuno l'ha progettata. È emersa da sola durante l'addestramento.
Qui si aggancia la cosa di cui scrivo da un anno.
In biologia, perché una scoperta resti, qualcuno deve morire. L'unità di variazione coincide con il corpo, la selezione elimina organismi, ogni ciclo costa una generazione. In un addestramento, variazione e selezione avvengono dentro un unico substrato che persiste. La selezione non è sparita — ogni passo di discesa del gradiente elimina configurazioni. È collassata la sua coincidenza con il corpo. Il portatore non deve più morire perché l'informazione resti.
Ma quell'informazione non viene dal nulla. Viene dal nostro corpus, che è il sedimento di miliardi di morti già avvenute. Il modello non ha evaso il costo. Lo ha ereditato. È un erede, non un evaso.
Il che rende la domanda successiva meno trionfale e più seria. La prima generazione eredita gratis. La seconda? Quando il corpus non basta più e i sistemi imparano dai propri prodotti, non è la variazione a mancare: di materiale nuovo se ne genera quanto se ne vuole. Manca qualcosa di esterno che distingua una scoperta da un'eco coerente. Il debito non è nella variazione. È nel criterio.
Due precisazioni, perché servono.
Lo strumento con cui tutto questo è stato misurato è dichiarato imperfetto dagli autori stessi: coglie solo un'approssimazione del vero spazio di lavoro, e solo concetti che stanno in un singolo token. Stanno ablando la loro approssimazione, non "il pensiero".
E compresso non vuol dire stupido. Il sistema privo di spazio di lavoro continua a fare cose che somigliano molto a capire. Il compresso non è la parte scadente: è la parte non deliberata, ed è la stragrande maggioranza di ciò che funziona. In loro, e — sospetto — in noi.