Un verdetto può restare corretto mentre la specifica manca lo scopo. Verificare un risultato, validare il criterio e rivederlo sono tre costi diversi — e rendere economico il primo non rende economici gli altri.
Una macchina può diventare più brava a superare un test senza diventare più brava in ciò che il test doveva accertare. La spiegazione familiare è che il test è un proxy imperfetto. Il punto meno intuitivo è che nell'esecuzione del test può non andare storto nulla: ogni verdetto può restare corretto nei propri termini, e il difetto stare interamente in ciò che quei termini dovevano rappresentare.
La biforcazione si chiudeva con un'osservazione che merita di essere ripresa. Considerando l'attestazione crittografica come risposta prevedibile dei domini correlazionali sotto pressione, si notava che quella mossa funziona a un prezzo: si fabbrica un arbitro costitutivo dove non ne esisteva uno naturale, e per ottenerlo si cambia la domanda. «È stato scritto da un essere umano?» diventa «è stato prodotto da questa identità attraverso questa catena attestata?». Il secondo predicato non è il primo. Quella era una sostituzione deliberata, e la sua virtù è di essere visibile. Resta aperto il caso in cui nessuno cambia la domanda — in cui la domanda a cui l'arbitro risponde non era mai stata esattamente quella che interessava, o ha smesso di esserlo, e nessuno se ne è accorto perché l'arbitro rispondeva sempre.
Non è terreno nuovo, e conviene dirlo prima di entrarci. La legge di Goodhart descrive il caso generale. Manheim e Garrabrant ne hanno distinto nel 2018 quattro varianti, e quella che chiamano extremal — i mondi in cui il proxy assume valori estremi possono essere molto diversi dai mondi ordinari in cui la relazione fra proxy e obiettivo era stata osservata — copre già il meccanismo per cui l'ottimizzazione porta fuori dalla regione in cui una rappresentazione semplificata era adeguata. È una possibilità, non un destino: i massimi del proxy e dell'obiettivo possono coincidere. Krakovna ha ordinato nel 2019 i livelli di specifica — ideale, di modello, di progetto, di implementazione, rivelata — e ha collocato lo specification gaming nello scarto fra la specifica di modello, la migliore approssimazione che un formalismo scelto consente, e la specifica di progetto effettivamente enunciata; con i colleghi di DeepMind, nel 2020, lo ha definito come soddisfacimento della specifica letterale senza conseguimento del risultato inteso.
Qui non si propone alcun meccanismo di fallimento aggiuntivo. Ciò che segue precisa la biforcazione su un punto, e poi sposta l'attenzione su un costo che il quadro di Goodhart lascia implicito.
La biforcazione distingueva arbitri costitutivi da arbitri correlazionali. La distinzione tiene, ma va detto di che cosa è una distinzione. Non di due tipi di dispositivo. Di due rapporti che lo stesso dispositivo intrattiene con due oggetti diversi.
Una suite di prove unitarie è costitutiva rispetto al superamento del benchmark: il test passa o non passa, e non c'è nulla da inferire. La stessa suite è un proxy rispetto alla capacità di scrivere software, che è ciò per cui il benchmark era stato costruito. Un dimostratore automatico stabilisce che una derivazione rispetta le regole di un sistema formale, posto che l'implementazione sia corretta; non stabilisce per questo che il teorema valga la pena. Un contatore di pubblicazioni conta gli articoli esattamente mentre diventa un pessimo indicatore della qualità della ricerca, e il conteggio non ha alcun bisogno di incepparsi quando la relazione fallisce.
La conseguenza per la biforcazione è netta. Dire che nel regime costitutivo il progresso si deposita è dire una cosa vera sul rapporto fra l'arbitro e la propria specifica — e nulla sul rapporto fra la specifica e lo scopo. Non significa che il verdetto non porti alcuna informazione sullo scopo: un test validato può essere una prova forte. Significa che il verdetto non valida, da solo, la relazione che lo rende una prova. E questo vale identicamente per un criterio formale e per un proxy statistico: un proxy che si deteriora non annuncia il proprio deterioramento più di quanto faccia un test che passa. In entrambi i casi l'informazione mancante sta fuori dal verdetto — non necessariamente fuori dal sistema, che può contenere altri verificatori, osservazioni degli esiti, controlli incrociati, ma fuori da quella singola risposta.
Un arbitro costitutivo, dunque, non è lo scopo: è una formalizzazione dello scopo — una specifica di modello nel senso di Krakovna, o un'implementazione di una. Ciò che lo rende consultabile a costo quasi nullo, e quindi idoneo a sostenere milioni di iterazioni, è la riduzione di uno scopo ampio a una condizione decidibile. Il rapporto di compressione è la fonte dell'utilità e non è eliminabile senza eliminare il dispositivo. Se poi l'ottimizzazione porti il sistema là dove la formalizzazione ha scartato informazione dipende da come la formalizzazione è stata costruita e da dove stanno i massimi. Ma è una possibilità che il verdetto dell'arbitro non è in grado di segnalare.
Nel 2026 OpenAI ha smesso di riportare i punteggi su SWE-bench Verified, un benchmark di ingegneria del software a verifica costitutiva — le prove unitarie passano o non passano — e ha raccomandato alternative. È stata una decisione sul proprio uso del benchmark, non un ritiro universale. Poggia su un audit i cui numeri vanno letti insieme alla selezione che li ha prodotti: dei 500 compiti del benchmark ne sono stati esaminati 138, scelti perché o3 non li risolveva stabilmente in 64 esecuzioni indipendenti. Un campione selezionato sui fallimenti è arricchito di test difettosi per costruzione; i numeri descrivono quel campione, non il benchmark.
Di quei 138 compiti, il 59,4% presenta difetti sostanziali. Il 35,5% ha test che impongono dettagli di implementazione e possono respingere soluzioni funzionalmente corrette; il 18,8% ha test che verificano funzionalità assenti dalla descrizione del compito; il 5,1% ha problemi di altro tipo. Tutte e tre le percentuali hanno per denominatore il campione esaminato. E OpenAI è esplicita su un punto che qui conta: i difetti c'erano fin dalla creazione, residui che la curatela «Verified» non aveva eliminato. Non è una deriva prodotta dall'ottimizzazione. È una specifica sbagliata dall'inizio, rimasta in funzione per anni.
Ed è precisamente per questo che il caso è istruttivo. L'arbitro ha emesso verdetti binari, immediati e riproducibili per tutto quel tempo. Il suo rapporto con la propria specifica è stato impeccabile; il suo rapporto con lo scopo era difettoso dal primo giorno; e nessun verdetto poteva dirlo. Il sospetto è nato dal rallentamento dei punteggi — un segnale ambiguo, perché una curva che si appiattisce ammette molte spiegazioni — e la diagnosi è arrivata da una revisione esperta condotta fuori dal criterio. Il caso non mostra uno scopo che si stacca sotto pressione. Mostra quanto a lungo un verdetto corretto può convivere con una specifica sbagliata prima che qualcuno paghi il costo di guardare.
Il caso della deriva vera e propria viene dall'addestramento. Nell'aprile 2026 Helff e colleghi hanno esaminato modelli addestrati con ricompense verificabili su compiti di ragionamento induttivo — la classificazione di treni di SLR-Bench, su quattro livelli di complessità, con modelli delle famiglie GPT-5, OLMo-3, Ministral e GPT-4 — e hanno mostrato che i modelli addestrati in quel regime possono produrre etichette specifiche per singola istanza che soddisfano un verificatore estensionale senza esprimere la regola generale richiesta dal compito. Lo rilevano con una perturbazione isomorfa: lo stesso output è valutato su un compito logicamente isomorfo, ottenuto rinominando biiettivamente le costanti-oggetto e lasciando fisse le costanti-attributo. Il test espone la dipendenza da identificatori particolari; non ispeziona direttamente la conoscenza interna del modello. Gli autori distinguono esplicitamente il soddisfare il verificatore dall'acquisire la regola, e chiamano imperfetto un verificatore che controlla la sola coerenza estensionale perché ammette falsi positivi rispetto alla regola. È la stessa distinzione fra i due rapporti, vista da dentro un esperimento.
Il lavoro contiene un secondo risultato, che limita ciò che dal primo si può concludere, e va riportato con la stessa evidenza. In un esperimento controllato, due versioni dello stesso modello base sono state addestrate in condizioni identiche tranne che per il verificatore di ricompensa. Con il solo verificatore estensionale, il divario fra ricompensa estensionale e ricompensa isomorfa cresce in modo monotono, fino a circa 3,5 punti dopo 500 passi su una scala con massimo 10: la deriva esiste, è graduale, e il verificatore estensionale riporta successo per tutto il percorso. Con il verificatore isomorfo dentro il ciclo di addestramento, il divario resta vicino allo zero dall'inizio alla fine.
Quindi la deriva sotto ottimizzazione è reale e misurata, e altrettanto reale è la sua prevenzione — nel setting studiato, contro la scorciatoia studiata — inserendo nel ciclo un secondo controllo che varia l'istanza preservando il compito inteso. Il controllo aggiuntivo non deve essere umano, né tardivo, né discontinuo. Può essere automatico e continuo. A una condizione, che è il punto di tutto ciò che segue.
Tre costi vanno tenuti distinti. Applicare un verificatore a un risultato. Stabilire se il criterio del verificatore serve adeguatamente lo scopo. Rivedere il criterio, o la sua implementazione, quando non lo serve. In pratica i tre sono spesso impacchettati insieme; restano operazioni diverse, e abbassare il primo non dimostra che gli altri siano scesi allo stesso ritmo. L'ingegneria del software ha un nome per i primi due — verifica e validazione, costruire la cosa nel modo giusto e costruire la cosa giusta — e la distinzione è antica precisamente perché i due costi si separano con tanta facilità.
Il secondo controllo di Helff è economico perché le varianti isomorfe di un problema di classificazione di treni costano quasi nulla: si rinominano le costanti, si preserva la struttura. Dove la validazione si ottiene trasformando gli input e controllando ciò che dovrebbe sopravvivere alla trasformazione, entra nel ciclo con la stessa facilità della verifica. Il software non è fuori da questa possibilità. Il metamorphic testing fa lo stesso per i programmi — MorphQ, ad esempio, genera programmi quantistici e applica trasformazioni che dovrebbero lasciarne invariato il comportamento, esponendo difetti della piattaforma Qiskit senza che nessuno abbia specificato in anticipo l'output corretto. Metodi del genere forniscono una validazione automatica reale per le proprietà che coprono, senza stabilire che ogni proprietà rilevante, o ogni esigenza dell'utente, sia stata coperta.
Il confine, dunque, non passa fra il codice e tutto il resto. Passa attraverso i domini, e attraverso le proprietà dentro un dominio. Alcune proprietà ammettono controlli indipendenti economici; altre dipendono da osservazioni che richiedono tempo, da requisiti non ancora articolati, o da un disaccordo su cosa debba contare come successo — e identificare un difetto di fatto è un problema diverso dal dirimere uno scopo conteso, anche se entrambi possono nascondersi dietro una sequenza di verdetti positivi. Né la formalizzazione garantisce una verifica economica: i problemi decidibili possono comunque essere costosi. L'affermazione è più stretta. Riguarda i contesti in cui la verifica è già diventata abbastanza economica da sostenere un'iterazione rapida, mentre l'adeguatezza di ciò che si verifica resta una domanda separata con un prezzo separato.
La biforcazione osservava che, quando la selezione non si automatizza, resta umana e si paga. La fedeltà dell'arbitro aggiunge una precisazione: ciò che il regime costitutivo automatizza a basso costo è la verifica di ciascun risultato rispetto alla specifica. La validazione della specifica rispetto allo scopo è una voce separata. Entrambe possono accelerare — strumenti migliori, controlli incrociati automatici — e nulla in linea di principio vieta che accelerino insieme. Ma non è detto che lo facciano, e dove non lo fanno la conseguenza è definita: i risultati che passano si accumulano più in fretta di quanto se ne possa accertare la pertinenza. Lo scarto può essere presente dall'inizio, come nel benchmark, o diventare rilevante solo quando la ricerca raggiunge casi nuovi, come nell'addestramento; in entrambi i casi il numero di risultati formalmente riusciti che si ammucchiano prima che venga identificato cresce con la distanza fra le due velocità.
È qui che la questione incontra la compressione evolutiva, e non prima. Che cosa conta come software corretto, come dimostrazione interessante, come ricerca di qualità, come comportamento accettabile — le specifiche che governano i domini in cui le capacità crescono più in fretta — viene validato, dove viene validato, per osservazione, per disaccordo, per standard rivisti, per giurisprudenza: processi che corrono alla velocità delle istituzioni. In quei domini la compressione non agisce sul ciclo dell'ottimizzazione, che corre già al proprio passo. Agisce sulla distanza fra il ritmo con cui si accumulano risultati verificati e il ritmo con cui qualcuno riesce a controllare che la verifica significhi ancora ciò che si era preso a significare.
Una conseguenza segue come ipotesi e non come legge. La sorte probabile degli arbitri non è la scarsità ma il riuso oltre l'ambito in cui erano stati validati. Gli arbitri abbondano, sono scritti bene, sono disponibili; riusarne uno costa niente, validarlo per uno scopo nuovo costa qualcosa, costruirne uno nuovo costa di più. Il riuso è individualmente razionale, soprattutto quando il costo di uno scarto è incerto o ricade altrove, e per questo si diffonde senza che nessuno lo decida. Qui la distinzione si innesta su un punto già fissato altrove: l'arbitro non sceglie il gioco. Si può aggiungere che non ricorda perché il gioco fosse stato scelto — e che, essendo fedele alla propria specifica, lo sopravvive.
L'affermazione economica è condizionale: fra sistemi altrimenti comparabili — pressione di ottimizzazione, risorse di monitoraggio, incentivi e accesso al riscontro comparabili — aumentare il costo di ottenere e usare prove indipendenti di uno scarto fra specifica e scopo tende ad allungare il tempo per cui lo scarto persiste. Si può mettere alla prova. Si introducono scarti noti in compiti controllati, si fa variare il costo di una via di validazione indipendente, e si registrano separatamente il tempo alla rilevazione e il tempo alla correzione, con l'insorgenza dello scarto e i controlli disponibili fissati in anticipo. Se costi di validazione più alti non allungassero la persistenza in condizioni comparabili, o la accorciassero stabilmente, l'ipotesi cadrebbe. I due casi discussi qui illustrano vie diverse per rilevare uno scarto; non eseguono quel test, e non mostrano che differenze nel costo di validazione abbiano causato differenze nel tempo di rilevazione.
Il punto concettuale è più stretto dell'ipotesi e non dipende da essa. Il successo formale e l'adeguatezza allo scopo sono due traguardi diversi. La verifica economica consegna il primo senza decidere il secondo. L'arbitro può restare fedele per tutto il tempo; ciò che va ancora difeso è la ragione per fidarsi della sua risposta.