Il vincolo all'auto-miglioramento dei sistemi artificiali non è la capacità di generare varianti, ma la possibilità di selezionarle. E la selezione si comprime solo dove esiste un arbitro.
C'è una domanda che ricorre nelle discussioni sull'auto-miglioramento dei sistemi artificiali, ed è quasi sempre posta male. Si chiede quanto un sistema debba diventare potente prima di potersi migliorare da solo. Ma la potenza è una questione di grado, e i gradi non producono da soli una soglia. La domanda più utile riguarda un'altra cosa: cosa decide se una variante è migliore della precedente.
L'evoluzione biologica teneva separate due fasi. La variazione era cieca, senza una direzione anticipata. La selezione emergeva lentamente dalle conseguenze che quelle variazioni incontravano nell'ambiente, attraverso le generazioni.
L'apprendimento automatico può comprimere drasticamente la prima fase. In molte procedure di addestramento la variazione non è più cieca: un segnale di errore orienta la ricerca nello spazio delle possibilità. Ma la seconda fase non si comprime con la stessa facilità, perché per selezionare rapidamente occorre sapere rapidamente se ciò che è stato prodotto è migliore.
È qui che si annida l'errore più comune. Si osserva l'accelerazione della ricerca e si conclude che l'intero motore evolutivo sia stato accelerato. Non è così. La variazione può essere resa abbondante ed economica in quasi ogni dominio; la selezione si comprime soltanto dove esiste un criterio di verifica abbastanza rapido, affidabile ed economico da entrare nel ciclo.
Il vincolo all'auto-miglioramento non è dunque, almeno in prima battuta, la capacità di generare varianti — quella può diventare quasi illimitata. Il vincolo è la possibilità di discriminare tra esse senza reintrodurre a ogni passaggio un giudice umano lento e costoso.
Da qui nasce una biforcazione: non una semplice differenza di velocità lungo uno stesso continuo, ma regimi diversi, destinati a produrre dinamiche diverse.
La sicurezza offensiva offre un caso particolarmente pulito.
Su InterCode-CTF, un benchmark di sfide di sicurezza, risultati precedenti arrivavano a circa il 40% con GPT-4o. Un successivo lavoro di elicitazione raggiunse il 92% con lo stesso modello di base in circa cinque settimane; il risultato complessivo arrivò poi al 95% utilizzando prompting, strumenti e tentativi multipli. Project Naptime, di Google Project Zero, mostrò qualcosa di analogo su CyberSecEval 2: modificando l'architettura agente attorno al modello, il successo sui test di buffer overflow passò dal 5% al 100%, e quello sui problemi avanzati di corruzione della memoria dal 24% al 76%.
Il punto non è che il modello avesse imparato in cinque settimane a essere più intelligente. La capacità era in parte già presente: era il sistema costruito attorno al modello a non riuscire ancora a estrarla.
E la sicurezza offensiva possiede una proprietà decisiva: molte verifiche chiudono il ciclo senza ambiguità. L'exploit funziona oppure no. La flag viene catturata oppure no. Il programma esegue oppure fallisce. Non occorre domandare a qualcuno se il risultato sembri migliore.
Il progresso generale del settore è coerente con questa struttura. L'AI Security Institute britannico riferisce che i modelli completano oggi i compiti cyber di livello apprendista circa il 50% delle volte, contro poco più del 10% all'inizio del 2024, e che nel 2025 è stato testato il primo modello capace di completare compiti di livello esperto, quelli che richiedono normalmente oltre dieci anni di esperienza umana. La durata dei compiti che i modelli riescono a portare a termine senza assistenza raddoppia all'incirca ogni otto mesi. L'AI Index 2026 di Stanford osserva più in generale che benchmark pensati per rimanere difficili per anni vengono talvolta saturati nell'arco di mesi.
Qui però occorre fermarsi prima di concludere troppo. Le cinque settimane di InterCode-CTF non sono una dimostrazione di auto-miglioramento ricorsivo autonomo: furono esseri umani a sperimentare prompt, strumenti, numero di tentativi e struttura dell'agente. Dimostrano qualcosa di più circoscritto e, per questa tesi, sufficiente: quando il ciclo di verifica è forte ed economico, anche modifiche relativamente piccole al processo che genera le varianti possono produrre guadagni enormi. È il terreno sul quale un eventuale auto-miglioramento ricorsivo incontrerebbe la minore resistenza. Non la prova che il ciclo si sia già chiuso, ma la prova che in certi domini può esserlo.
Il caso simmetrico sarebbe un dominio nel quale manchi una verifica di questo tipo. Ma prima conviene esaminarne uno che sembra possederla, perché l'errore è istruttivo.
Il rilevamento automatico dei testi generati da intelligenza artificiale dispone, almeno apparentemente, dell'arbitro ideale. La verità di origine è binaria e può essere conosciuta senza annotazione: se un sistema genera il testo, chi conduce l'esperimento ne conosce per costruzione la provenienza.
E alcuni rilevatori contemporanei funzionano molto meglio di quanto suggerisca la convinzione diffusa secondo cui la detection sarebbe semplicemente impossibile. Un working paper NBER del 2025 ha confrontato diversi rilevatori commerciali su testi umani e artificiali di varia lunghezza e provenienza; il migliore ha ottenuto tassi di errore prossimi allo zero in molte condizioni e ha mantenuto buone prestazioni anche contro strumenti generici di "umanizzazione". Va detto, perché è scomodo per la narrazione prevalente.
Questo però non risolve il problema.
Anzitutto la prestazione di un rilevatore su una distribuzione non garantisce la stessa prestazione su tutte le altre. Liang e colleghi mostrarono nel 2023 che i rilevatori allora disponibili classificavano erroneamente come artificiali oltre la metà dei saggi TOEFL scritti da non madrelingua inglesi, mentre si comportavano quasi perfettamente sui testi madrelingua; il meccanismo era associato alla minore perplessità e alla minore varietà linguistica di quei testi. Non è necessario assumere che quel risultato descriva per sempre tutti i rilevatori futuri. Il punto teorico è un altro.
Un detector non verifica direttamente la proprietà che interessa. Cerca caratteristiche statisticamente associate a quella proprietà.
Nella sicurezza offensiva, in molti casi, superare il test è riuscire. Se l'obiettivo locale è ottenere una determinata flag attraverso lo sfruttamento del sistema, l'apparizione della flag non è un indizio statistico che forse l'exploit abbia funzionato: è parte della definizione del successo. Chiamiamolo un arbitro costitutivo.
Nel rilevamento di un testo artificiale la situazione è diversa. Una certa distribuzione delle parole, una firma statistica, una rappresentazione interna possono essere fortemente correlate alla provenienza del testo, ma non coincidono con essa. Chiamiamolo un arbitro correlazionale.
La differenza appare appena il criterio diventa bersaglio dell'ottimizzazione. Ottimizzare contro un arbitro costitutivo tende a produrre ciò che il test definisce come successo. Ottimizzare contro un arbitro correlazionale può invece distruggere proprio la relazione che rendeva utile il test. È la struttura descritta dalla legge di Goodhart: quando una misura diventa il bersaglio diretto dell'ottimizzazione, può cessare di essere una buona misura.
Nel rilevamento dei testi questo produce una dinamica diversa da quella del cyber. Il detector viene migliorato; il generatore impara a evitare i segnali che il detector utilizza; il detector deve adattarsi alla nuova distribuzione. Non necessariamente convergenza, dunque, ma manutenzione. Vale la pena notare che gli autori stessi dello studio NBER prevedono una corsa continua tra rilevatori, modelli e strumenti di elusione, e raccomandano audit periodici sul modello degli stress test bancari — cioè descrivono un regime di manutenzione, non di accumulo.
Qui emerge la seconda parte della biforcazione.
In un dominio ad arbitro costitutivo, una tecnica acquisita può entrare nel patrimonio cumulativo del sistema. Un algoritmo più veloce resta più veloce. Una dimostrazione formalmente verificata resta una dimostrazione. Una vulnerabilità correttamente sfruttata resta tale, anche se il mondo esterno potrà successivamente cambiare e rendere necessario trovarne di nuove. Il bersaglio può muoversi, ma il criterio locale di successo non viene distrutto dal fatto di essere ottimizzato.
Negli arbitri correlazionali questo non è garantito. Se il sistema impara esattamente quali caratteristiche fanno scattare il detector e le elimina mantenendo invariata la propria origine artificiale, ha migliorato la propria prestazione contro il criterio senza avvicinarsi di un millimetro alla proprietà che il criterio avrebbe dovuto rappresentare. Si corre per restare fermi. E in alcuni casi si può persino correre nella direzione sbagliata.
Nel regime costitutivo il progresso si deposita. Nel regime correlazionale va difeso.
Se la distinzione regge, si può prevedere come reagiranno i domini correlazionali sotto pressione: non migliorando il proxy, ma sostituendolo con un predicato più difficile da manipolare.
Nel caso della provenienza dei contenuti la direzione è già visibile, ed è l'attestazione crittografica. Invece di tentare di dedurre statisticamente se un testo sia umano, si verifica se provenga da una catena firmata. La mossa funziona perché cambia il predicato. «È stato scritto da un essere umano?» resta una proprietà difficile da inferire dal solo testo. «È stato prodotto da questa identità attraverso questa catena attestata?» può diventare una proprietà verificabile.
Ma il secondo predicato non è il primo. Si è fabbricato artificialmente un arbitro costitutivo dove non ne esisteva uno naturale, e per ottenerlo si è cambiata la domanda.
Nel frattempo, dove nemmeno questo è possibile, il costo non sparisce: si sposta su chi seleziona. Medium ha scelto di non affidare al rilevamento automatico la decisione sui testi generati e ha trasferito una parte rilevante del carico di selezione sui redattori delle proprie testate. La scelta è probabilmente dettata da costi e rapporti con gli autori più che da un'impossibilità tecnica, ma la forma è quella prevista dalla tesi: quando la selezione non si automatizza, resta umana, e si paga.
La regressione non termina dunque nella verifica. Termina nell'istituzione che garantisce la firma, o nella persona che legge e sceglie.