Quando la selezione riproduce i propri criteri

Un’indagine sul controllo nella compressione evolutiva

· Modello e limiti · Precedenti

Questo saggio nasce dalla visione della compressione evolutiva: capacità cognitive sviluppate prima dell’integrazione robotica e accorciamento dei cicli di apprendimento artificiale. Ne esamina una domanda specifica: che cosa accade quando il processo modifica anche i criteri con cui viene giudicato? Non sostituisce la visione generale né ne dimostra le ipotesi sull’incarnazione.

Un sistema può diventare più efficace nel produrre ciò che viene premiato e meno capace di riconoscere che sta premiando la cosa sbagliata. Il rischio cambia quando i risultati selezionati contribuiscono a formare anche i valutatori successivi: un errore può passare dai giudizi ai prodotti e, attraverso quei prodotti, tornare nei giudizi.

Questa è l’ipotesi della riproduzione endogena dei criteri. Una delle dimensioni temporali da studiare è il numero di cicli prima del riscontro: quanti passaggi cumulativi di produzione, selezione e aggiornamento si compiono prima che nuove evidenze possano correggere il processo.

La distinzione conta. La ripetizione può amplificare una distorsione, conservarla oppure correggerla. Per capire quale esito prevalga occorre guardare al percorso dell’errore, alla regola di apprendimento e alla capacità di correzione. L’automazione può accelerare tutti e tre gli esiti.

1. Valutare prima di conoscere le conseguenze

Un punteggio, una revisione o un modello di ricompensa permettono di scegliere prima di conoscere tutte le conseguenze della scelta. Chiamo circuito di valutazione queste operazioni e circuito di riscontro i processi che possono confermarne o smentirne l’esito: esperimenti, replicazioni, applicazioni, osservazioni successive.

La distinzione è funzionale. Un riscontro può essere immediato; una valutazione può richiedere anni. Il punto è se una nuova evidenza possa mettere in discussione ciò che il processo ha già imparato a premiare.

Occorre separare due proprietà. L’indipendenza informativa indica quanto il riscontro porti evidenza ulteriore rispetto ai giudizi che hanno guidato la selezione. L’efficacia correttiva indica se quell’evidenza possa modificare prodotti, decisioni e criteri. Un audit può essere indipendente e venire ignorato. Una replicazione può nascere da una pubblicazione selezionata dal circuito e produrre comunque un risultato capace di smentirla. Né la genealogia del verificatore né la sua autorità, prese da sole, garantiscono una verifica adeguata.

2. I cicli prima del riscontro

Un passaggio cumulativo è completo quando una selezione modifica ciò che potrà essere prodotto o preferito nel passaggio successivo. Se i risultati restano isolati, aumenta la produzione, ma non si forma la catena di dipendenze qui considerata.

Qui conto il numero di questi passaggi tra due occasioni di riscontro informativamente indipendente. Se il riscontro arriva ma non viene usato, va registrato anche questo fallimento: non si può cancellarlo dal conteggio chiamandolo retroattivamente “non indipendente”.

Questo conteggio descrive un aspetto circoscritto dell’accelerazione dei processi artificiali: sempre più aggiornamenti possono avvenire entro il tempo necessario a mettere alla prova una scelta. Non ridefinisce la compressione evolutiva e non esaurisce la visione generale da cui nasce la domanda.

Il numero dei passaggi non basta a confrontare sistemi diversi. Dieci aggiornamenti piccoli possono equivalere a uno grande. Perciò il conteggio deve accompagnarsi alla quantità di dati utilizzati, all’intensità degli aggiornamenti e alla struttura delle dipendenze. Suddividere nominalmente lo stesso addestramento in più fasi non aumenta, da solo, la profondità effettiva dell’apprendimento. In reti ramificate, anche la profondità di una catena è soltanto un indicatore parziale.

3. Il circuito dell’errore

Un produttore sottoposto a un valutatore fisso può imparare a sfruttarne le lacune. La riproduzione endogena aggiunge un percorso: i risultati premiati e i giudizi che li hanno favoriti entrano nella formazione o nella selezione dei valutatori successivi.

Il circuito problematico richiede quattro passaggi:

  1. Il valutatore favorisce una caratteristica che non migliora, o peggiora, un esito definito separatamente.
  2. La selezione rende quella caratteristica più presente nei risultati riutilizzati.
  3. La regola di aggiornamento dei valutatori trasforma quel materiale in una maggiore propensione a premiarla.
  4. La correzione disponibile non compensa questo rinforzo nell’intervallo considerato.

Il terzo passaggio è decisivo. Ricevere dati selezionati non implica necessariamente accentuarne la distorsione. Un valutatore può conservarla, saturare, imparare a riconoscerla oppure correggersi. Occorre mostrare come cambia la sua preferenza su casi di prova comparabili, distinti dai materiali che lo aggiornano.

Si immagini un sistema che premi spiegazioni molto sicure anche quando la sicurezza supera l’affidabilità. Se le spiegazioni selezionate diventano esempi di qualità, la sicurezza può aumentare sia nei prodotti sia nei giudizi. Ma la stessa struttura potrebbe premiare esitazione, tecnicismo o conformità a una scuola. Il meccanismo non privilegia per definizione uno stile: riguarda caratteristiche sovrapremiate, identificate prima di osservare la loro diffusione.

La struttura del circuito chiuso compare in casi reali. Nei modelli linguistici che giudicano e premiano i propri output, i miglioramenti si riducono dopo alcune iterazioni; tra le cause osservate ci sono un pregiudizio accumulato nella ricompensa e un’etichettatura delle preferenze troppo sicura. Nelle decisioni che precedettero il disastro del Challenger, ogni volo in cui l’erosione delle guarnizioni non aveva prodotto un incidente diventava prova che l’erosione era accettabile: le soglie di rischio venivano ricalibrate sui successi giudicati con quelle stesse soglie. Nella polizia predittiva, le pattuglie vanno dove il modello prevede reati, i reati vengono registrati dove ci sono le pattuglie e il modello viene riaddestrato su quei registri; un modello formale mostra che la concentrazione può crescere indipendentemente dai tassi reali. Nessuno di questi casi, da solo, separa la retroazione dalla semplice esposizione a dati distorti: è il compito dell’esperimento della sezione 5.

La varianza tra candidati offre materiale alla selezione, ma non garantisce una fuga. Una selezione intensa può accentuare il problema oppure scegliere meglio. Tutto dipende da quale proprietà viene premiata e da come il premio modifica il valutatore.

4. Un modello minimo e il suo limite

Si possono rappresentare due quantità: la distorsione presente nei materiali riutilizzati e la preferenza distorta del valutatore. La prima influenza l’aggiornamento della seconda; la seconda influenza la selezione dei materiali successivi.

L’appendice propone una forma lineare di questa relazione. Serve a rendere esplicite le assunzioni, non a dimostrare che i sistemi reali le soddisfino. Nel modello il circuito amplifica quando il rinforzo reciproco supera gli smorzamenti. Se prevale la correzione, gli stessi passaggi riducono l’errore.

Il numero di cicli modifica quanto lontano il processo arriva prima del riscontro. Non modifica automaticamente la condizione che distingue crescita e smorzamento. In un sistema già amplificante, più aggiornamenti possono imporre un rinforzo minore per restare entro un limite di danno. Da questo non segue una legge universale secondo cui ogni aumento del numero di cicli richiede una quota endogena inferiore. Un caso però conta: se l’errore è alimentato da una sorgente che la correzione non raggiunge, anche un sistema stabile ne moltiplica il livello attraverso la retroazione, e più passaggi senza riscontro ne lasciano realizzare una parte maggiore (vedi l’appendice).

Anche la quota endogena, cioè la parte dell’aggiornamento derivata dai risultati selezionati internamente, è una misura incompleta. Un piccolo insieme di esempi molto influenti può pesare più di un archivio vasto. Contano la ponderazione dei dati, la regola di apprendimento e il contenuto informativo. La quota endogena e il numero di cicli sono variabili da studiare insieme alle altre, non una grandezza unica che le sostituisce.

5. L’esperimento decisivo

La spiegazione rivale più semplice è questa: un valutatore impara dagli esempi distorti che riceve; correggerlo senza cambiare quegli esempi permette all’errore di ricomparire. Questa spiegazione non richiede che i dati siano stati selezionati dal valutatore stesso.

Per identificare il contributo della retroazione bisogna distinguere l’esposizione ai dati dalla capacità del valutatore di modificare i propri futuri dati di aggiornamento.

Un esperimento può partire da più repliche comparabili. Nel circuito chiuso, ciascun valutatore influenza la selezione del materiale sul quale verrà aggiornato. Nel controllo a circuito aperto, riceve materiale proveniente da una replica separata: può apprenderne la distorsione, ma i suoi giudizi non modificano quella fonte. Quantità dei dati, origine delle etichette, regola di aggiornamento e condizioni iniziali devono essere rese comparabili.

Si introduce poi, in modo casuale e temporaneo, una piccola variazione della preferenza per una caratteristica di cui è nota l’irrilevanza o la dannosità nel compito sperimentale. Si osservano tre passaggi: il cambiamento delle selezioni, il cambiamento dei materiali futuri e la persistenza della preferenza dopo la rimozione della variazione iniziale.

L’ipotesi è che, nei sistemi amplificanti, il circuito chiuso restituisca al valutatore una parte della sua perturbazione attraverso i materiali che ha contribuito a selezionare. Interrompere quel percorso dovrebbe attenuare tale componente della persistenza. La misura principale è la risposta alla perturbazione, non il semplice fatto che un gruppo sbagli più dell’altro.

Non si deve pretendere che un valutatore reagisca diversamente agli stessi identici dati soltanto perché hanno una genealogia diversa: a parità di stato e regola di aggiornamento, l’esposizione può produrre lo stesso risultato. Ciò che si mette alla prova è la capacità dei suoi giudizi di modificare causalmente l’esposizione successiva.

Un’ulteriore prova varia il numero di selezioni intermedie mantenendo comparabili la quantità totale di dati e il lavoro complessivo di aggiornamento. Se conta soltanto il volume di addestramento, il numero dei cicli non aggiunge spiegazione. Se la selezione intermedia cambia sistematicamente la risposta, il numero di cicli acquista un contenuto empirico ulteriore.

Prima della prova vanno fissati il circuito, l’esito esterno, la durata e l’effetto minimo rilevante. Se non si osservano né il ritorno della perturbazione attraverso i materiali né un effetto della sua interruzione, il meccanismo proposto non riceve sostegno in quel sistema. Se il circuito esiste ma la scansione dei cicli non aggiunge potere esplicativo, resta l’ipotesi della retroazione e si ridimensiona il ruolo autonomo del numero di cicli.

6. Quando cambia anche chi supervisiona

Il circuito può attraversare valutatori umani. Gli esempi premiati possono diventare materiale formativo; i produttori selezionati possono diventare revisori; i casi accettati possono essere trasformati in standard. Sono canali identificabili, ma ciascuno può trasmettere competenza oltre che errore.

Per sostenere che si perde una capacità umana occorre misurarla prima e dopo l’esposizione. Una risposta sbagliata non dimostra una capacità perduta. Un minor numero di errori segnalati può indicare una soglia più permissiva, anziché un’incapacità di distinguerli. Servono quindi anche falsi allarmi, prestazioni senza assistenza e prove con tempo e incentivi adeguati alla verifica.

Un indizio sperimentale va in questa direzione. In una serie di esperimenti con oltre mille partecipanti, un sistema automatico che amplificava una lieve distorsione presente nei giudizi umani ha reso più distorti i giudizi di chi interagiva con esso, più di quanto accadesse interagendo con altri umani, e i partecipanti sottovalutavano l’influenza ricevuta. Il risultato riguarda un passaggio del circuito misto, non la perdita di capacità secondo i criteri appena indicati. Mostra però che il giudizio umano può spostarsi senza che chi giudica se ne accorga.

Vanno separati almeno tre casi: non saper più riconoscere lo scostamento; saperlo riconoscere ma non svolgere il controllo; riconoscerlo e proseguire comunque. L’immagine dell’allevatore accecato riguarda la prima situazione. Quella dell’allevatore superato riguarda la pressione che rende costoso fermarsi. Le due condizioni possono intrecciarsi, ma richiedono evidenze diverse.

Una diminuzione delle verifiche dopo l’introduzione dell’aggiornamento endogeno non dimostra che quest’ultimo l’abbia causata. Tagli di risorse o nuovi incentivi possono produrre entrambi i cambiamenti. La sequenza temporale e la tracciabilità del canale devono essere accompagnate da confronti o interventi capaci di distinguere queste alternative.

7. Scienza, istituzioni e agenda

Nelle istituzioni l’aggiornamento passa attraverso reclutamento, formazione, premi e revisione delle regole. Parlare di riproduzione dei criteri ha senso quando si identifica uno di questi canali e si mostra quale componente del giudizio vi transiti. Il fatto che i valutatori provengano da una stessa comunità non dimostra una distorsione.

Nella produzione teorica occorre distinguere tre esiti: la qualità conoscitiva, la fedeltà agli impegni e la capacità di riconoscere e deliberare il cambiamento. Un programma può rispettare criteri poco fecondi; può anche migliorare mentre si allontana da una griglia iniziale. La divergenza da un mandato registrato è un fatto osservabile, ma non equivale automaticamente a un errore epistemico.

La distinzione diventa particolarmente importante per l’agenda: quali problemi porre, quali risultati finanziare, quali spiegazioni considerare interessanti. Qui il riscontro può essere parziale e il disaccordo legittimo. L’indagine deve chiedere quali finalità siano state assunte, come vengano applicate e chi possa contestarne il cambiamento.

Non ne segue una classifica universale dei domini. Un verificatore formale può controllare efficacemente una proprietà senza stabilire che sia stata scelta la proprietà giusta. Un settore con riscontri tardivi può mantenere verifiche eterogenee e capacità di revisione robuste. La vulnerabilità dipende dalla combinazione concreta di questi fattori.

Anche il controllo può essere distribuito. Chi scopre un problema, chi lo valuta e chi può intervenire possono essere soggetti diversi. Il controllo sostanziale richiede una catena funzionante tra evidenza e correzione, non necessariamente un unico attore capace di fare tutto.

8. Preservare la possibilità di correggersi

Se il problema passa attraverso la riproduzione dei valutatori, correggere soltanto i singoli prodotti può lasciare intatta una fonte di ricomparsa. Da questo segue una domanda pratica: dove utilizzare le verifiche disponibili affinché la correzione duri? La risposta richiede confronti su benefici, tempi e costi; non è sempre preferibile intervenire sul valutatore, soprattutto quando un prodotto può causare un danno immediato.

Tra le opzioni da valutare ci sono il controllo dei materiali usati per aggiornare i giudici, la conservazione di prove escluse dall’ottimizzazione, aggiornamenti più graduali e verifiche condotte con procedure differenti. Genealogie diverse sono utili solo nella misura in cui producono errori effettivamente meno correlati.

Va inoltre distinta la diversità offerta alla selezione dalla diversità protetta per metterla alla prova. Aumentare i candidati sotto un giudice distorto può accentuare la selezione sbagliata. Conservare alternative fuori dal circuito di aggiornamento può invece fornire un confronto che altrimenti andrebbe perso.

Ridurre gli aggiornamenti endogeni può rallentare anche l’apprendimento utile. Congelare un criterio può renderlo più sfruttabile. Non esiste, sulla base del solo argomento, una quota ottimale universale. L’obiettivo è mantenere una capacità di correzione proporzionata al processo e ai danni possibili.

Recuperare questa capacità può diventare costoso se si perdono competenze, archivi e alternative organizzative. È una possibilità di dipendenza persistente, non una legge di irreversibilità. Il coordinamento può ridurre i costi competitivi della verifica, ma la sua fattibilità va analizzata separatamente.

Conclusione

L’ipotesi proposta riguarda un percorso causale preciso: i giudizi selezionano i materiali e quei materiali modificano i giudizi successivi. La sua importanza dipende da ciò che attraversa il percorso, dalla forza della retroazione e dalle possibilità di correzione.

Nel quadro della compressione evolutiva, questo approfondimento pone una domanda ulteriore: quanto può cambiare quel sistema prima che arrivi un’evidenza capace di metterlo alla prova? Per rispondere non basta contare risultati o approvazioni. Occorre osservare anche come si trasformano coloro che approvano.

Un processo che impara dai propri successi deve conservare la possibilità di scoprire che cosa ha imparato a chiamare successo.

Appendice — Un modello illustrativo della retroazione

Si considerino due scostamenti non negativi, misurati vicino a una condizione di riferimento:

Un modello lineare locale è:

xt+1 = ρxt + abt

bt+1 = (1 − d)bt + qβxt

Qui 0 ≤ ρ < 1 descrive la persistenza dei materiali distorti in assenza di nuovo impulso; 0 < d ≤ 1 descrive lo smorzamento della preferenza; a ≥ 0 misura l’effetto della preferenza sulla selezione; β ≥ 0 misura l’effetto dei materiali sull’apprendimento del valutatore; 0 ≤ q ≤ 1 è una quota endogena effettiva, ponderata per il suo ruolo nell’aggiornamento.

Per questa particolare matrice non negativa, il massimo autovalore supera uno quando:

aqβ > (1 − ρ)d

Al di sotto della soglia gli scostamenti tendono a smorzarsi nel modello; al di sopra esiste una componente amplificante. Alla soglia, il modello lineare ammette persistenza senza crescita esponenziale della componente dominante. Transitori e scostamenti osservati in una singola componente richiedono comunque un’analisi separata.

Dopo C passaggi lo stato è ottenuto applicando C volte la stessa matrice. Aumentare C modifica l’evoluzione accumulata, non la soglia di stabilità. Nel caso amplificante può aumentare il danno prima di un riscontro. Nel caso stabile, più passaggi avvicinano lo stato all’equilibrio: riducono una distorsione che si trova sopra l’equilibrio e fanno crescere quella che parte sotto, come accade a un sistema pulito esposto a una sorgente persistente (vedi sotto). Se il danno si misura sullo stato al momento del riscontro, non esiste quindi una relazione universale tra numero di cicli e qualità; se si misura come distorsione accumulata lungo i passaggi, più passaggi non la riducono mai.

Sorgente persistente. Le equazioni precedenti descrivono una perturbazione senza nuovi ingressi. Una parte dell’errore può invece restare fuori dalla portata della correzione: un criterio mal specificato, un incentivo esterno che continua a premiare la caratteristica. È un’ipotesi aggiuntiva, non una lettura obbligata del primo passaggio del circuito. La si può rappresentare con un ingresso costante s ≥ 0 sui materiali:

xt+1 = ρxt + abt + s

Sotto la soglia il sistema converge a una distorsione di regime:

x* = s / [(1 − ρ)(1 − L)], con L = aqβ / [(1 − ρ)d] < 1

Senza riproduzione endogena (q = 0) il livello di regime sarebbe s/(1 − ρ): la retroazione lo moltiplica per 1/(1 − L). Un circuito stabile può quindi smorzare una perturbazione e, insieme, amplificare un errore continuamente alimentato. La stabilità garantisce che il sistema non diverga, non che la distorsione scompaia.

Vicino alla soglia questa amplificazione arriva lentamente, perché il tempo necessario ad avvicinarsi al regime cresce come 1/(1 − L). In un esempio con L ≈ 0,99, partendo da uno stato pulito, la retroazione aggiunge circa metà della distorsione di base dopo 5 passaggi e la moltiplica per circa 80 a regime, che si raggiunge solo dopo centinaia di passaggi. Se il riscontro riporta il sistema allo stato di partenza, un riscontro frequente lascia realizzare solo una piccola parte dell’amplificazione; molti passaggi senza riscontro la lasciano realizzare quasi tutta. Per attribuire questo effetto alla scansione dei cicli, e non alla quantità complessiva di errore immesso, occorre precisare se la sorgente agisce per ciclo, per unità di tempo o per unità di materiale. I numeri illustrano la forma del fenomeno, non la sua entità: una distorsione così lontana dal punto di riferimento esce dal campo del modello lineare, e nei sistemi reali la saturazione comprime l’amplificazione.

Il modello assume coefficienti costanti, un punto di riferimento fisso e una sola dimensione di distorsione. Non rappresenta saturazione, mutamento dei fini, apprendimento utile o correzioni esterne intermittenti. La quota q entra linearmente per assunzione: questa relazione andrebbe verificata, non ricavata dal nome della variabile. Se q cresce con il materiale autoprodotto accumulato, il numero di passaggi sposta anche la soglia.

Un’applicazione empirica dovrebbe stimare a, β, ρ e d attraverso variazioni controllate e prove separate, poi prevedere l’evoluzione su cicli non usati per stimarli. Per stimare L basta misurare separatamente i due archi del circuito, ciascuno a circuito aperto: fissare la preferenza del valutatore a un valore noto e misurare la distorsione dei materiali che ne risulta, poi fornire materiale con distorsione nota e misurare la preferenza che il valutatore ne apprende. Il prodotto dei due guadagni stima L, e ogni arco si stabilizza in pochi passaggi. Il confronto tra circuito chiuso e circuito aperto dopo un numero fissato di passaggi non stima invece il moltiplicatore: vicino alla soglia il circuito chiuso può impiegare centinaia di passaggi a stabilizzarsi. Attribuire i coefficienti dopo aver osservato la deriva renderebbe il modello una descrizione adattata ai risultati, non una spiegazione messa alla prova.

Precedenti e rapporto con questo saggio

Il saggio non rivendica il meccanismo tecnico. Che un sistema possa produrre, giudicare e venire aggiornato sui propri giudizi è già documentato; che le decisioni di un modello possano modificare i dati su cui verrà riaddestrato è già formalizzato. Qui si propone di trattare questo percorso come ipotesi causale da distinguere dalla semplice esposizione a dati distorti (sezione 5) e di seguirne i canali fuori dall’addestramento dei modelli.