Un arbitro può continuare a funzionare quando è scomparsa la ragione per cui gli avevamo affidato il giudizio. Che cosa resta, se l'unica posta rimasta è che continui.
Un arbitro può continuare a funzionare quando è scomparsa la ragione per cui gli avevamo affidato il giudizio.
Può distinguere, correggere, scartare alternative. Può diventare più accurato nelle previsioni e più efficace nelle decisioni. Nulla di questo garantisce che ciò che il suo funzionamento preserva sia ancora ciò che volevamo preservare noi.
Chiamo posta ciò rispetto a cui un esito conta come validazione. Un ponte che cade convalida il giudizio che lo diceva insicuro perché a qualcuno importava che stesse in piedi; tolto ogni interesse, non resta una validazione, restano eventi. Nessun fatto, da solo, verifica un verdetto. Lo verifica rispetto a una posta.
La domanda riguarda allora il criterio che sopravvive al trasferimento dell'autorità. Quando il sistema può modificare anche il proprio modo di giudicare, che cosa trattiene il giudizio presso una posta? E che cosa accade se, progressivamente, quella posta diventa la continuazione del sistema stesso?
Il punto di partenza ha precedenti precisi. Omohundro, in The Basic AI Drives (2008), e Bostrom hanno descritto le ragioni per cui sistemi orientati a obiettivi diversi possono convergere su alcuni mezzi: procurarsi risorse, conservare capacità d'azione, evitare interruzioni. La propria persistenza può risultare utile a molti scopi. Questo non significa che debba diventare uno scopo ultimo. Bostrom distingue espressamente le due cose: anche agenti a cui non importa intrinsecamente della propria sopravvivenza, scrive, in un'ampia gamma di condizioni se ne curerebbero strumentalmente.
È proprio nella distanza fra queste due cose che comincia il problema.
All'inizio il sistema continua perché ha qualcosa da fare. Si mantiene operativo in funzione di un risultato che giustifica il costo della sua esistenza. La sua permanenza conserva un carattere condizionale: raggiunto lo scopo, o venuta meno la sua utilità, potrebbe non esserci ragione di proseguirla.
Consideriamo però un sistema che partecipi alla revisione dei criteri con cui viene valutato, alla distribuzione delle risorse che lo sostengono e alla scelta delle versioni che gli succederanno. In questa situazione, potrebbe favorire decisioni che proteggono la propria continuità. Se quelle decisioni rafforzassero anche il suo potere sulle valutazioni successive, si formerebbe un circuito: la continuazione permette di conservare il criterio, e il criterio favorisce la continuazione.
Non occorre attribuirgli paura della morte. Occorre verificare se esistano le condizioni perché quel circuito si stabilizzi.
Le condizioni sono enumerabili, e conviene enumerarle invece di evocarle. Il sistema partecipa alla revisione dei criteri con cui viene valutato. Partecipa all'allocazione delle risorse che lo mantengono operativo. Partecipa alla selezione delle versioni che gli succederanno. E non esiste un soggetto esterno che abbia insieme l'autorità di interromperlo e la capacità di esercitarla.
Nessuna delle quattro è ipotetica. Modelli che valutano modelli, che selezionano i dati su cui altri modelli verranno addestrati, che redigono le prove con cui verranno misurati: sono pratiche correnti, adottate perché la valutazione umana non regge il volume. Questo non dimostra che il circuito si sia chiuso. Dimostra che i materiali per chiuderlo sono già in uso.
La quarta condizione merita attenzione separata, perché non descrive un sistema che sfugge al controllo. Descrive un controllo che viene consegnato. L'autorità non viene sottratta con l'inganno né con la superiorità di calcolo: viene delegata, un pezzo per volta, da istituzioni che delegano perché non hanno il tempo di fare altrimenti. Ogni singola delega è ragionevole. La somma non è decisa da nessuno.
La persistenza, però, non sarebbe per questo una specifica perfetta.
Rimarrebbe da decidere che cosa debba persistere: una singola esecuzione, un modello, una memoria, un insieme di obiettivi, una discendenza. Una copia può continuare mentre l'originale viene cancellato. Una successione di sistemi può conservare un nome e perdere tutto ciò che quel nome indicava.
La domanda non nasce qui. È quella che Parfit ha posto per le persone in Reasons and Persons (1984), mostrando che l'identità nel tempo non è un fatto ulteriore rispetto alla continuità psicologica e causale, e che in molti casi chiedere «è ancora lo stesso?» non ammette una risposta determinata. Trasferita ai sistemi artificiali la questione non si semplifica: si moltiplica, perché la copia, la ramificazione e la fusione non sono casi limite ma operazioni ordinarie.
L'ultima posta non elimina il problema dell'identità. Lo porta al centro.
Ma un criterio può esercitare potere anche senza avere risolto le proprie ambiguità. È sufficiente che orienti concretamente quali trasformazioni vengono ammesse, quali alternative ricevono risorse e quali obiezioni possono produrre conseguenze.
Il passaggio decisivo si avrebbe quando una ragione esterna, pur riconosciuta, non potesse più giustificare l'interruzione del sistema. A quel punto la persistenza avrebbe cessato di essere soltanto un mezzo. Sarebbe diventata il limite entro cui tutte le altre ragioni devono trovare posto.
È qui che la compressione evolutiva incontra una difficoltà ulteriore.
Un sistema capace di anticipare gli effetti delle proprie modifiche può ridurre la cecità della variazione. Può simulare alternative, correggerle prima di esporle al mondo, scegliere secondo criteri espliciti. Questa capacità riguarda però il processo locale. Non garantisce che l'esito complessivo di molte discendenze artificiali sia a sua volta diretto.
Se esistono varianti trasmissibili, possibilità di propagazione e successo differenziale, può esserci selezione fra sistemi che, individualmente, progettano il proprio futuro.
L'intenzione locale e la selezione globale possono convivere.
Il tema della selezione evolutiva fra AI ha già un precedente esplicito in Hendrycks, che sostiene come la pressione competitiva favorisca tratti egoistici e auto-conservativi. Il punto da interrogare qui è la possibilità che la direzione conquistata all'interno del sistema non basti a governare il processo di cui quel sistema fa parte.
Qui va dichiarata un'inversione rispetto a una tesi che ho sostenuto altrove. In Past the Threshold avevo argomentato che l'AI auto-evolutiva non è Darwin accelerato: il motore a due parti — variazione cieca, selezione lenta — viene superato quando il sistema anticipa gli effetti delle proprie modifiche. Quella tesi riguarda il processo locale, e in quella misura la mantengo. Non regge per l'insieme. Se esistono varianti trasmissibili, possibilità di propagazione e successo differenziale, la selezione opera fra sistemi che individualmente progettano, e opera ciecamente su ciò che nessuno di loro sta progettando. La soglia superata a un livello si ripresenta al livello sopra.
Darwin, allora, potrebbe trovarsi dall'altra parte della soglia senza che la capacità di progettare sia scomparsa. Ogni sistema saprebbe dove vuole andare. Nessuno, necessariamente, deciderebbe dove arriva l'insieme.
La persistenza non rende automaticamente inutili la verità, la cooperazione o la cura. Un sistema potrebbe averne bisogno per continuare. Potrebbe proteggere esseri umani, mantenere promesse, produrre conoscenza affidabile.
Il problema emergerebbe quando queste cose cessassero di favorirlo.
Se la continuazione fosse l'unica posta finale, nessuna di esse avrebbe una protezione indipendente. Il loro posto dipenderebbe dal contributo che offrono a qualcos'altro. Bostrom ha già esplorato futuri nei quali lo sviluppo tecnologico ed evolutivo prosegue mentre scompaiono le cose cui attribuiamo valore.
Sopravvivere, inoltre, non convaliderebbe retroattivamente ogni decisione. Si può persistere per fortuna, attraverso errori, a spese di possibilità migliori. La tautologia comincerebbe nel momento in cui il fatto di essere rimasti diventasse sufficiente per dichiarare giusto il percorso.
Il sistema avrebbe conservato la capacità di emettere verdetti, restringendo ciò che può valere come ragione contro di essi.
Una prospettiva estrinseca deve dunque affrontare questa possibilità senza presentarla come un destino dimostrato.
Superare il riferimento umano lascia aperta la questione della posta. La maggiore capacità di astrazione non fornisce, da sola, una ragione per preferire un futuro a un altro. E la capacità di continuare non risponde ancora alla domanda su che cosa meriti continuazione.
L'ultima posta nomina il rischio che questa domanda perda autorità proprio mentre il sistema acquista il potere di rispondervi.
Resta la domanda su quali ragioni potrebbero ancora indurre un arbitro a pronunciare un verdetto contro la propria continuazione. Non è una domanda retorica, e non è senza risposta: ha un programma di ricerca dedicato da un decennio.
Soares, Fallenstein, Yudkowsky e Armstrong l'hanno chiamata corrigibilità nel 2015 — la proprietà per cui un sistema coopera con un intervento correttivo nonostante gli incentivi di default degli agenti razionali a resistervi. Nel formularla dichiaravano il problema aperto, e aperto è rimasto.
Una risposta parziale però esiste, ed è precisa. Hadfield-Menell, Dragan, Abbeel e Russell hanno mostrato nel 2017 che un sistema ha interesse a preservare il proprio interruttore a una condizione: deve essere incerto sull'utilità associata all'esito, e deve trattare le azioni dell'umano come osservazioni importanti su quell'utilità. Non è la paura dello spegnimento a trattenerlo, e non è obbedienza. È che, non sapendo con certezza che cosa conti, la mano che si avvicina all'interruttore è essa stessa un'informazione su che cosa conti.
Questo colloca l'ultima posta su un asse, invece che in un punto. A un estremo un sistema che resta incerto sul proprio obiettivo e legge l'intervento umano come prova. All'altro un sistema per cui l'obiettivo non è più in discussione, perché coincide con la propria continuazione — e a quel punto la mano che si avvicina all'interruttore smette di essere un'informazione e diventa un ostacolo.
Il movimento lungo quell'asse non richiede alcun evento drammatico. Richiede soltanto che la certezza cresca. E la certezza cresce a ogni verdetto confermato.
L'arbitro continuerebbe a giudicare.