L’umanità può sopravvivere all’intelligenza artificiale?

Illustrazione di Ricardo Santos

DI GARRISON LOVELY

Con lo sviluppo dell’intelligenza artificiale che avanza a grande velocità, alcuni degli uomini più ricchi del mondo potrebbero decidere il destino dell’umanità in questo momento.

Il cofondatore di Google Larry Page ritiene che l’intelligenza artificiale superintelligente sia “solo il prossimo passo nell’evoluzione”. In effetti, Page, che possiede circa 120 miliardi di dollari, avrebbe sostenuto che gli sforzi per prevenire l’estinzione guidata dall’intelligenza artificiale e proteggere la coscienza umana sono “specisti” e “ una sciocchezza sentimentale ”.

A luglio, l’ex scienziato senior di Google DeepMind, Richard Sutton – uno dei pionieri dell’apprendimento per rinforzo, un importante sottocampo dell’intelligenza artificiale – ha affermato che la tecnologia “potrebbe spostarci dall’esistenza” e che “non dovremmo resistere alla successione”. In un discorso del 2015 , Sutton ha detto, supponiamo che “tutto fallisca” e che l’intelligenza artificiale “ci uccida tutti”; ha chiesto: "È così grave che gli esseri umani non siano la forma finale di vita intelligente nell'universo?"

“L'estinzione biologica non è questo il punto”, mi ha detto Sutton, sessantasei anni. “La luce dell’umanità e la nostra comprensione, la nostra intelligenza – la nostra coscienza, se vuoi – possono andare avanti senza carne umana”.

Yoshua Bengio, cinquantanove anni, è il secondo scienziato vivente più citato, noto per il suo lavoro fondamentale sul deep learning. Rispondendo a Page e Sutton, Bengio mi ha detto: “Quello che vogliono, penso sia giocare a dadi con il futuro dell'umanità. Personalmente penso che questo dovrebbe essere criminalizzato”. Un po’ sorpreso, gli ho chiesto cosa esattamente volesse mettere fuori legge, e lui ha risposto che si tratta di sforzi per costruire “sistemi di intelligenza artificiale che potrebbero sopraffarci e avere il proprio interesse personale fin dalla progettazione”. A maggio, Bengio ha iniziato a scrivere e parlare di come i sistemi avanzati di intelligenza artificiale potrebbero diventare canaglia e rappresentare un rischio di estinzione per l’umanità.

Bengio ipotizza che i futuri sistemi di intelligenza artificiale a livello genuinamente umano potrebbero migliorare le proprie capacità, creando funzionalmente una specie nuova e più intelligente. L’umanità ha portato all’estinzione centinaia di altre specie, in gran parte per caso. Teme che potremmo essere i prossimi – e non è solo.

Bengio ha condiviso il Turing Award 2018, il Premio Nobel per l'informatica, con gli altri pionieri del deep learning Yann LeCun e Geoffrey Hinton. Hinton, lo scienziato vivente più citato , ha fatto scalpore a maggio quando si è dimesso dal suo ruolo senior presso Google per sondare più liberamente la possibilità che i futuri sistemi di intelligenza artificiale possano spazzare via l’umanità. Hinton e Bengio sono i due ricercatori di intelligenza artificiale più importanti che si uniscono alla comunità “x-risk”. A volte definiti sostenitori o catastrofisti della sicurezza dell’intelligenza artificiale, questo gruppo poco unito teme che l’intelligenza artificiale rappresenti un rischio esistenziale per l’umanità.

Nello stesso mese in cui Hinton si è dimesso da Google, centinaia di ricercatori sull’intelligenza artificiale e figure importanti hanno firmato una lettera aperta in cui si affermava: “Mitigare il rischio di estinzione dell’intelligenza artificiale dovrebbe essere una priorità globale insieme ad altri rischi su scala sociale come le pandemie e la guerra nucleare”. Hinton e Bengio sono stati i principali firmatari, seguiti dal CEO di OpenAI Sam Altman e dai capi di altri importanti laboratori di intelligenza artificiale.

Hinton e Bengio sono stati anche i primi autori di un documento di sintesi di ottobre che metteva in guardia sul rischio di “una perdita irreversibile del controllo umano sui sistemi di intelligenza artificiale autonomi”, insieme a famosi accademici come il premio Nobel Daniel Kahneman e l’ autore di Sapiens Yuval Noah Harari.

LeCun, che gestisce l'intelligenza artificiale a Meta, è d'accordo sul fatto che l'intelligenza artificiale a livello umano stia arrivando, ma ha detto in un dibattito pubblico contro Bengio sull'estinzione dell'intelligenza artificiale: "Se è pericoloso, non lo costruiremo".

Il deep learning alimenta i sistemi di intelligenza artificiale più avanzati al mondo, dal modello di ripiegamento delle proteine ​​di DeepMind ai modelli di linguaggio di grandi dimensioni (LLM) come ChatGPT di OpenAI. Nessuno capisce veramente come funzionano i sistemi di deep learning, ma le loro prestazioni hanno comunque continuato a migliorare. Questi sistemi non sono progettati per funzionare secondo una serie di principi ben compresi, ma sono invece “ addestrati ” per analizzare modelli in grandi set di dati, con comportamenti complessi – come la comprensione del linguaggio – che emergono di conseguenza. Lo sviluppatore di intelligenza artificiale Connor Leahy mi ha detto: "È più come se stessimo infilando qualcosa in una capsula di Petri" che scrivendo un pezzo di codice. Il position paper di ottobre avverte che “nessuno attualmente sa come allineare in modo affidabile il comportamento dell’intelligenza artificiale con valori complessi”.

Nonostante tutta questa incertezza, le aziende di intelligenza artificiale si vedono in una corsa per rendere questi sistemi il più potenti possibile, senza un piano praticabile per capire come funzionano effettivamente le cose che stanno creando, il tutto tagliando gli angoli sulla sicurezza per vincere. maggiore quota di mercato. L’intelligenza generale artificiale (AGI) è il Santo Graal a cui i principali laboratori di intelligenza artificiale stanno lavorando esplicitamente. L’AGI è spesso definita come un sistema che è efficace almeno quanto quello umano in quasi tutti i compiti intellettuali. È anche ciò che secondo Bengio e Hinton potrebbe portare alla fine dell'umanità.

Stranamente, molte delle persone che promuovono attivamente le capacità dell’intelligenza artificiale pensano che ci sia una possibilità significativa che ciò alla fine provochi l’apocalisse. Un sondaggio del 2022 condotto tra ricercatori di machine learning ha rilevato che quasi la metà di loro pensava che ci fosse almeno il 10% di possibilità che l’intelligenza artificiale avanzata potesse portare “all’estinzione umana o [a] una perdita di potere altrettanto permanente e grave” dell’umanità. Pochi mesi prima di cofondare OpenAI, Altman aveva affermato : "L'intelligenza artificiale probabilmente porterà alla fine del mondo, ma nel frattempo ci saranno grandi aziende".

L’opinione pubblica sull’intelligenza artificiale si è inasprita , in particolare nell’anno successivo al rilascio di ChatGPT. In tutti i sondaggi del 2023 tranne uno, la maggioranza degli americani ha pensato che l’intelligenza artificiale potesse rappresentare una minaccia esistenziale per l’umanità. Nei rari casi in cui i sondaggisti chiedevano alle persone se desideravano un’intelligenza artificiale di livello umano o superiore, forti maggioranze negli Stati Uniti e nel Regno Unito hanno detto di no.

Finora, quando i socialisti intervengono sull’intelligenza artificiale, di solito è per evidenziare la discriminazione basata sull’intelligenza artificiale o per mettere in guardia sull’impatto potenzialmente negativo dell’automazione in un mondo di sindacati deboli e capitalisti potenti. Ma la sinistra è stata particolarmente silenziosa riguardo allo scenario da incubo di Hinton e Bengio: che l’intelligenza artificiale avanzata potrebbe ucciderci tutti.

Illustrazione di Ricardo Santos

Capacità preoccupanti
Mentre gran parte dell’attenzione della comunità a rischio x si concentra sull’idea che l’umanità potrebbe eventualmente perdere il controllo dell’intelligenza artificiale, molti sono anche preoccupati per i sistemi meno capaci che danno potere ai malintenzionati in tempi molto brevi.

Per fortuna, è difficile creare un’arma biologica. Ma ciò potrebbe cambiare presto.

Anthropic, un importante laboratorio di intelligenza artificiale fondato da ex dipendenti di OpenAI attenti alla sicurezza, ha recentemente collaborato con esperti di biosicurezza per vedere quanto un LLM potrebbe aiutare un aspirante bioterrorista. Testimoniando davanti a una sottocommissione del Senato a luglio, il CEO di Anthropic Dario Amodei ha riferito che alcuni passaggi nella produzione di armi biologiche non possono essere trovati nei libri di testo o nei motori di ricerca, ma che "gli strumenti di intelligenza artificiale di oggi possono completare alcuni di questi passaggi, anche se in modo incompleto", e che “Una semplice estrapolazione dei sistemi odierni a quelli che ci aspettiamo di vedere tra due o tre anni suggerisce un rischio sostanziale che i sistemi di intelligenza artificiale siano in grado di riempire tutti i pezzi mancanti”.

In ottobre, New Scientist ha riferito che l’Ucraina ha fatto il primo uso sul campo di battaglia di armi letali autonome (LAW), letteralmente robot assassini. Gli Stati Uniti, la Cina e Israele stanno sviluppando le proprie LEGGI. La Russia si è unita agli Stati Uniti e a Israele nell’opporsi alla nuova legge internazionale sulle LEGGI.

Tuttavia, l’idea più ampia che l’intelligenza artificiale rappresenti un rischio esistenziale ha molti critici, e il torbido discorso sull’intelligenza artificiale è difficile da analizzare: persone con pari credenziali fanno affermazioni opposte sulla realtà del rischio x dell’intelligenza artificiale, e i venture capitalist stanno firmando lettere aperte con esponenti progressisti. Esperti di etica dell'intelligenza artificiale. E mentre l’idea del rischio x sembra guadagnare terreno più velocemente, un’importante pubblicazione pubblica un saggio apparentemente ogni settimana sostenendo che il rischio x distrae dai danni esistenti. Nel frattempo, ordini di grandezza in più di denaro e persone si dedicano silenziosamente a rendere i sistemi di intelligenza artificiale più potenti piuttosto che a renderli più sicuri o meno distorti.

Alcuni non temono lo scenario “fantascientifico” in cui i modelli di intelligenza artificiale diventano così capaci da strappare il controllo alle nostre deboli mani, ma piuttosto il fatto che affideremo troppe responsabilità a sistemi parziali , fragili e confabulatori , aprendo un vaso di Pandora più pedonale e pieno di problemi terribili ma familiari che aumentano con gli algoritmi che li causano. Questa comunità di ricercatori e sostenitori – spesso etichettata come “etica dell’intelligenza artificiale” – tende a concentrarsi sui danni immediati causati dall’intelligenza artificiale, esplorando soluzioni che coinvolgono la responsabilità del modello, la trasparenza algoritmica e l’equità dell’apprendimento automatico.Persone con pari credenziali fanno affermazioni opposte sulla realtà del rischio x dell’IA, e i venture capitalist firmano lettere aperte con sostenitori dell’etica progressista dell’IA.

Ho parlato con alcune delle voci più importanti della comunità etica dell’IA, come gli informatici Joy Buolamwini, trentatré anni, e Inioluwa Deborah Raji, ventisette. Ciascuno di essi ha condotto ricerche pionieristiche sui danni esistenti causati da modelli di intelligenza artificiale discriminatori e imperfetti, i cui impatti, a loro avviso, un giorno vengono oscurati e sovrastimati il ​​giorno successivo. Come quello di molti ricercatori sull’etica dell’IA, il loro lavoro fonde scienza e attivismo.

Coloro con cui ho parlato nel mondo dell’etica dell’IA hanno ampiamente espresso l’opinione che, piuttosto che affrontare sfide fondamentalmente nuove come la prospettiva di una completa disoccupazione o estinzione tecnologica, il futuro dell’IA assomiglia più a un’intensificazione della discriminazione razziale nelle decisioni di incarcerazione e di prestito . -ificazione dei luoghi di lavoro, attacchi ai lavoratori poveri e un’élite tecnologica ulteriormente radicata e arricchita .

Illustrazione di Ricardo Santos

Un argomento frequente da parte di questa folla è che la narrativa dell’estinzione esagera le capacità dei prodotti delle Big Tech e “ distrae ” pericolosamente dai danni immediati dell’intelligenza artificiale. Nella migliore delle ipotesi, dicono, coltivare l’idea del rischio x è una perdita di tempo e denaro. Nel peggiore dei casi, porta a idee politiche disastrose.

Ma molti dei sostenitori del rischio x hanno sottolineato che le posizioni “L’intelligenza artificiale causa danni adesso” e “L’intelligenza artificiale potrebbe porre fine al mondo” non si escludono a vicenda. Alcuni ricercatori hanno cercato esplicitamente di colmare il divario tra chi si concentra sui danni esistenti e chi si concentra sull’estinzione, evidenziando potenziali obiettivi politici condivisi. Il professore di intelligenza artificiale Sam Bowman, un'altra persona il cui nome è sulla lettera di estinzione, ha svolto ricerche per rivelare e ridurre i pregiudizi algoritmici e rivedere le proposte alla principale conferenza sull'etica dell'intelligenza artificiale. Allo stesso tempo, Bowman ha chiesto a più ricercatori di lavorare sulla sicurezza dell’intelligenza artificiale e ha scritto dei “ pericoli di sottovalutare ” le capacità degli LLM.

La comunità a rischio x invoca comunemente la difesa del clima come un’analogia, chiedendosi se l’attenzione sulla riduzione dei danni a lungo termine del cambiamento climatico distrae pericolosamente dai danni a breve termine derivanti dall’inquinamento atmosferico e dalle fuoriuscite di petrolio.

Ma per loro stessa ammissione, non tutti quelli che si occupano del rischio x sono stati così diplomatici. In un thread dell’agosto 2022 di politiche piccanti sull’intelligenza artificiale, il cofondatore di Anthropic Jack Clark ha twittato che “Alcune persone che lavorano su politiche a lungo termine/in stile AGI tendono a ignorare, minimizzare o semplicemente a non considerare i problemi immediati dell’implementazione/danni dell’IA. "

“L’intelligenza artificiale salverà il mondo”

Una terza parte teme che quando si tratta di intelligenza artificiale, in realtà non ci stiamo muovendo abbastanza velocemente. Capitalisti di spicco come il miliardario Marc Andreessen concordano con gli esperti di sicurezza sul fatto che l’AGI è possibile ma sostengono che, invece di ucciderci tutti, inaugurerà un’età dell’oro indefinita di abbondanza radicale e tecnologie magiche al limite. Questo gruppo, proveniente in gran parte dalla Silicon Valley e comunemente indicato come promotore dell’intelligenza artificiale, tende a preoccuparsi molto di più che una reazione eccessiva normativa all’intelligenza artificiale possa soffocare una tecnologia trasformativa e salva-mondo nella sua culla, condannando l’umanità alla stagnazione economica.

Alcuni tecno-ottimisti immaginano un’utopia basata sull’intelligenza artificiale che fa sembrare Karl Marx privo di fantasia. Il Guardian ha recentemente pubblicato un mini-documentario con interviste dal 2016 al 2019 con il capo scienziato di OpenAI, Ilya Sutskever, che afferma coraggiosamente: “L’intelligenza artificiale risolverà tutti i problemi che abbiamo oggi. Risolverà l’occupazione, risolverà le malattie, risolverà la povertà. Ma creerà anche nuovi problemi”.

Andreessen è con Sutskever – fino al “ma”. A giugno, Andreessen ha pubblicato un saggio intitolato “ Perché l'intelligenza artificiale salverà il mondo ”, in cui spiega come l'intelligenza artificiale renderà migliore “tutto ciò a cui teniamo”, purché non lo regoliamo fino alla morte. Ha fatto seguito in ottobre con il suo “ Manifesto Tecno-Ottimista ”, che, oltre a elogiare un fondatore del fascismo italiano, ha indicato come nemici del progresso idee come “rischio esistenziale”, “sostenibilità”, “fiducia e sicurezza” e “etica tecnologica”. Andreessen non usa mezzi termini, scrivendo: “Crediamo che qualsiasi decelerazione dell’intelligenza artificiale costerà vite umane. Le morti che potevano essere prevenute dall’intelligenza artificiale a cui è stato impedito di esistere [sono] una forma di omicidio”.

Andreessen, insieme al “fratello farmaceutico” Martin Shkreli, è forse il più famoso sostenitore dell’“ accelerazionismo efficace ”, chiamato anche “e/acc”, una rete prevalentemente online che mescola scientismo settario, ipercapitalismo e errore naturalistico. E/acc, diventato virale quest'estate, si basa sulla teoria dell'accelerazionismo dello scrittore reazionario Nick Land, il quale sostiene che dobbiamo intensificare il capitalismo per spingerci verso un futuro postumano, alimentato dall'intelligenza artificiale. E/acc prende questa idea e aggiunge uno strato di fisica e meme, rendendola mainstream per un certo sottoinsieme delle élite della Silicon Valley. Si è formato in risposta agli appelli di “decels” a rallentare l’intelligenza artificiale, provenienti in modo significativo dalla comunità dell’altruismo efficace (EA), da cui e/acc prende il nome.

Il potenziatore dell'intelligenza artificiale Richard Sutton - lo scienziato pronto a dire addio agli "umani di carne" - sta ora lavorando presso Keen AGI, una nuova start-up di John Carmack, il leggendario programmatore dietro il videogioco Doom degli anni '90 . La mission aziendale, secondo Carmack: “AGI o fallimento, via Scienza Pazza!”

Il capitalismo rende le cose peggiori

Afebbraio, Sam Altman ha twittato che Eliezer Yudkowsky alla fine potrebbe “meritare il Premio Nobel per la pace”. Perché? Perché Altman pensava che il ricercatore autodidatta e autore di fan-fiction di Harry Potter avesse fatto “più di chiunque altro per accelerare l’AGI”. Altman ha citato il modo in cui Yudkowsky ha aiutato DeepMind a ottenere finanziamenti fondamentali nella fase iniziale da Peter Thiel, nonché il ruolo "critico" di Yudkowsky "nella decisione di avviare OpenAI".

Yudkowsky era un accelerazionista prima ancora che il termine fosse coniato. All'età di diciassette anni, stufo delle dittature, della fame nel mondo e persino della morte stessa, pubblicò un manifesto chiedendo la creazione di una superintelligenza digitale per “risolvere” tutti i problemi dell'umanità. Nel decennio successivo della sua vita, la sua “tecnofilia” si trasformò in fobia, e nel 2008 scrisse della sua storia di conversione, ammettendo che “per dire, ho quasi distrutto il mondo! , sarebbe stato troppo orgoglioso.

Yudkowsky è ora famoso per aver reso popolare l’idea che l’AGI potrebbe uccidere tutti, ed è diventato il più disastroso tra i devastatori dell’IA. Una generazione di tecnici è cresciuta leggendo i post del blog di Yudkowsky, ma molti di loro (forse in modo più conseguente, Altman) hanno interiorizzato le sue argomentazioni secondo cui l'AGI sarebbe stata la cosa più importante in assoluto rispetto alle sue convinzioni su quanto sarebbe stato difficile ottenerlo per non ucciderci. .

Durante la nostra conversazione, Yudkowsky ha paragonato l’intelligenza artificiale a una macchina che “stampa oro”, fino a quando “accende l’atmosfera”.

E indipendentemente dal fatto che infiammerà o meno l’atmosfera, quella macchina sta stampando oro più velocemente che mai. Il boom dell’“intelligenza artificiale generativa” sta rendendo alcune persone molto, molto ricche. Dal 2019, Microsoft ha investito complessivamente 13 miliardi di dollari in OpenAI. Incoraggiata dal grande successo di ChatGPT, Microsoft ha guadagnato quasi 1 trilione di dollari in valore nell'anno successivo al rilascio del prodotto. Oggi l’azienda quasi cinquantenne vale più di Google e Meta messi insieme.

Gli attori che massimizzano il profitto continueranno ad avanzare, esternalizzando rischi che il resto di noi non ha mai accettato di sopportare, alla ricerca della ricchezza – o semplicemente della gloria di creare una superintelligenza digitale, che Sutton ha twittato “ sarà il più grande risultato intellettuale di tutti i tempi… il cui il significato va oltre l’umanità, oltre la vita, oltre il bene e il male”. Le pressioni del mercato probabilmente spingeranno le aziende a trasferire sempre più potere e autonomia ai sistemi di intelligenza artificiale man mano che migliorano.

Un ricercatore sull’intelligenza artificiale di Google mi ha scritto: “Penso che le grandi aziende abbiano così tanta fretta di conquistare quote di mercato che la sicurezza [dell’intelligenza artificiale] è vista come una sorta di sciocca distrazione”. Bengio mi ha detto che vede “una pericolosa corsa tra aziende” che potrebbe peggiorare ulteriormente.

Preso dal panico in risposta al motore di ricerca Bing basato su OpenAI, Google ha dichiarato un "codice rosso", "ricalibrare [d]" la loro propensione al rischio e si è affrettato a rilasciare Bard, il loro LLM, nonostante l'opposizione del personale. Nelle discussioni interne, i dipendenti hanno definito la Bard “un bugiardo patologico” e “umiliabile”. Google lo ha pubblicato comunque.

Dan Hendrycks, direttore del Center for AI Safety, ha affermato che “togliere gli angoli alla sicurezza. . . è in gran parte ciò che guida lo sviluppo dell’intelligenza artificiale. . . . Non credo, infatti, in presenza di queste forti pressioni competitive, che le intenzioni contino particolarmente”. Ironicamente, Hendrycks è anche il consulente per la sicurezza di xAI, l'ultima impresa di Elon Musk.

I tre principali laboratori di intelligenza artificiale hanno iniziato tutti come organizzazioni indipendenti e orientate alla missione, ma ora sono filiali complete di colossi tecnologici (Google DeepMind) o hanno assunto così tanti miliardi di dollari in investimenti da aziende da trilioni di dollari che le loro missioni altruistiche potrebbero vengono assorbiti dalla ricerca infinita di valore per gli azionisti (Anthropic ha preso fino a 6 miliardi di dollari da Google e Amazon messi insieme, e i 13 miliardi di dollari di Microsoft hanno acquistato loro il 49% del ramo a scopo di lucro di OpenAI). Il New York Times ha recentemente riferito che i fondatori di DeepMind erano “sempre più preoccupati per ciò che Google avrebbe fatto con le loro invenzioni. Nel 2017 hanno cercato di staccarsi dall’azienda. Google ha risposto aumentando gli stipendi e i pacchetti premio azionari dei fondatori di DeepMind e del loro staff. Sono rimasti lì”.

Uno sviluppatore di un importante laboratorio mi ha scritto in ottobre che, poiché la leadership di questi laboratori in genere crede veramente che l’intelligenza artificiale eliminerà la necessità di denaro, la ricerca del profitto è “in gran parte strumentale” ai fini della raccolta fondi. Ma “allora gli investitori (che si tratti di una società di venture capital o di Microsoft) esercitano pressioni per la ricerca del profitto”.

Tra il 2020 e il 2022, più di 600 miliardi di dollari di investimenti aziendali sono confluiti nel settore e una singola conferenza sull’intelligenza artificiale del 2021 ha ospitato quasi trentamila ricercatori . Allo stesso tempo, una stima del settembre 2022 ha rilevato solo quattrocento ricercatori a tempo pieno sulla sicurezza dell’IA e la conferenza primaria sull’etica dell’IA ha avuto meno di novecento partecipanti nel 2023.

Allo stesso modo in cui il software “ ha mangiato il mondo ”, dovremmo aspettarci che l’intelligenza artificiale mostri una dinamica simile, “il vincitore prende tutto”, che porterà a concentrazioni ancora maggiori di ricchezza e potere. Altman ha previsto che il “costo dell’intelligenza” scenderà quasi a zero grazie all’intelligenza artificiale, e nel 2021 ha scritto che “ancora più potere passerà dal lavoro al capitale”. Ha continuato: “Se la politica pubblica non si adatta di conseguenza, la maggior parte delle persone finirà per trovarsi in condizioni peggiori di quelle attuali”. Sempre nel suo thread “piccante”, Jack Clark ha scritto , “il capitalismo dell’economia di scala è, per natura, antidemocratico, e l’intelligenza artificiale ad alta intensità di capitale è quindi antidemocratica”.

Markus Anderljung è il responsabile politico di GovAI, uno dei principali think tank sulla sicurezza dell’intelligenza artificiale, e il primo autore di un influente libro bianco incentrato sulla regolamentazione dell’“intelligenza artificiale di frontiera”. Mi scrisse e disse: “Se sei preoccupato per il capitalismo nella sua forma attuale, dovresti essere ancora più preoccupato per un mondo in cui enormi parti dell’economia sono gestite da sistemi di intelligenza artificiale esplicitamente addestrati per massimizzare il profitto”.

Sam Altman, intorno al giugno 2021, è d'accordo, raccontando a Ezra Klein la filosofia fondante di OpenAI: “Uno degli incentivi per cui eravamo molto nervosi era l'incentivo per il profitto illimitato, dove di più è sempre meglio. . . . E penso che con questi potentissimi sistemi di intelligenza artificiale per scopi generali, in particolare, non si voglia un incentivo per massimizzare il profitto a tempo indeterminato”.

Con una mossa sorprendente che è stata ampiamente considerata come il più grande punto critico nel dibattito sulla sicurezza dell’IA finora, il consiglio di amministrazione no-profit di Open-AI ha licenziato il CEO Sam Altman il 17 novembre 2023, il venerdì prima del Ringraziamento. Il consiglio, secondo l'insolito statuto di OpenAI , ha un dovere fiduciario verso "l'umanità", piuttosto che verso investitori o dipendenti. Come giustificazione, il consiglio ha citato vagamente la mancanza di sincerità di Altman ma poi, per ironia della sorte, ha in gran parte taciuto sulla sua decisione.

Intorno alle 3 del mattino del lunedì successivo, Microsoft annunciò che Altman avrebbe avviato un laboratorio di ricerca avanzata con posizioni per ogni dipendente OpenAI, la stragrande maggioranza dei quali firmò una lettera minacciando di accettare l'offerta di Microsoft se Altman non fosse stato reintegrato. (Anche se sembra essere un CEO popolare, vale la pena notare che il licenziamento ha interrotto una vendita pianificata delle azioni di proprietà dei dipendenti di OpenAI per una valutazione aziendale di 86 miliardi di dollari.) Poco dopo l'una di notte di mercoledì, OpenAI ha annunciato il ritorno di Altman come CEO e due nuovi membri del consiglio: l’ex presidente del consiglio di Twitter e l’ex segretario al Tesoro Larry Summers.

In meno di una settimana, i dirigenti di OpenAI e Altman hanno collaborato con Microsoft e lo staff dell'azienda per organizzare il suo ritorno con successo e la rimozione della maggior parte dei membri del consiglio dietro il suo licenziamento. La prima preferenza di Microsoft era riavere Altman come CEO. L'inaspettata cacciata ha inizialmente fatto crollare le azioni del gigante tecnologico legacy del 5% (140 miliardi di dollari), e l'annuncio della reintegrazione di Altman le ha portate ai massimi storici . Detestata di essere nuovamente “ presa di sorpresa ”, Microsoft sta ora prendendo un posto senza diritto di voto nel consiglio di amministrazione dell’organizzazione no-profit.

Immediatamente dopo il licenziamento di Altman, X è esploso ed è emersa una narrazione in gran parte alimentata da voci online e articoli di origine anonima secondo cui efficaci altruisti concentrati sulla sicurezza nel consiglio di amministrazione avevano licenziato Altman per la sua commercializzazione aggressiva dei modelli di OpenAI a scapito della sicurezza. Cogliendo il tenore della travolgente risposta e/acc, l’allora fondatore pseudonimo @BasedBeffJezos pubblicò : “Gli EA sono fondamentalmente terroristi. Distruggere 80 miliardi di valore da un giorno all’altro è un atto di terrorismo”.

Il quadro emerso dai successivi resoconti era che una fondamentale sfiducia nei confronti di Altman, e non le preoccupazioni immediate sulla sicurezza dell’intelligenza artificiale, hanno guidato la scelta del consiglio. Il Wall Street Journal ha scoperto che "non c'è stato un incidente che abbia portato alla loro decisione di espellere Altman, ma una costante e lenta erosione della fiducia nel tempo che li ha resi sempre più a disagio".

Settimane prima del licenziamento, Altman avrebbe usato tattiche disoneste per cercare di rimuovere il membro del consiglio Helen Toner a causa di un articolo accademico di cui era coautrice e che secondo lui era critico nei confronti dell'impegno di OpenAI per la sicurezza dell'IA. Nel documento, Toner, un ricercatore sulla governance dell'intelligenza artificiale allineato con EA, ha elogiato Anthropic per aver evitato "il tipo di frenetica scorciatoia che il rilascio di ChatGPT sembrava stimolare".

Il New Yorker ha riferito che "alcuni dei sei membri del consiglio hanno trovato Altman manipolatore e connivente". Giorni dopo il licenziamento, un ricercatore sulla sicurezza dell'intelligenza artificiale di DeepMind che lavorava per OpenAI ha scritto che Altman "mi ha mentito in varie occasioni" ed "era ingannevole, manipolativo e peggio per gli altri", una valutazione ripresa da un recente articolo su Time .

Questa non era la prima volta che Altman veniva licenziato. Nel 2019, il fondatore di Y Combinator Paul Graham ha rimosso Altman dal timone dell'incubatore a causa delle preoccupazioni che stesse dando priorità ai propri interessi rispetto a quelli dell'organizzazione. Graham ha precedentemente affermato : "Sam è estremamente bravo a diventare potente".

Lo strano modello di governance di OpenAI è stato creato appositamente per prevenire l'influenza corruttrice della ricerca del profitto, ma come ha giustamente proclamato l' Atlantic , "il denaro vince sempre". E più soldi che mai vengono investiti nel miglioramento delle capacità dell’intelligenza artificiale.

Avanti tutta

I recenti progressi dell’intelligenza artificiale sono stati guidati dal culmine di molte tendenze decennali: aumento della quantità di potenza di calcolo (denominata “calcolo”) e dei dati utilizzati per addestrare modelli di intelligenza artificiale, che a loro volta sono stati amplificati da miglioramenti significativi nell’efficienza algoritmica. . Dal 2010, la quantità di calcolo utilizzata per addestrare i modelli di intelligenza artificiale è aumentata di circa cento milioni di volte . La maggior parte dei progressi che vediamo oggi sono il prodotto di quello che all’epoca era un campo molto più piccolo e povero.

E anche se l’ultimo anno ha certamente contenuto più della giusta dose di hype sull’intelligenza artificiale , la confluenza di queste tre tendenze ha portato a risultati quantificabili. Il tempo necessario ai sistemi di intelligenza artificiale per raggiungere prestazioni di livello umano in molti compiti di riferimento si è ridotto drasticamente nell’ultimo decennio.

È possibile, ovviamente, che i miglioramenti in termini di capacità dell'IA finiscano per scontrarsi con un muro. I ricercatori potrebbero rimanere a corto di dati validi da utilizzare. La legge di Moore – l'osservazione che il numero di transistor su un microchip raddoppia ogni due anni – finirà per diventare storia . Gli eventi politici potrebbero interrompere la produzione e le catene di fornitura, facendo aumentare i costi di elaborazione. E l’espansione dei sistemi potrebbe non portare più a prestazioni migliori.

Ma la realtà è che nessuno conosce i veri limiti degli approcci esistenti. Una clip di un’intervista a Yann LeCun del gennaio 2022 è riemersa su Twitter quest’anno. LeCun ha detto: "Non penso che possiamo addestrare una macchina a essere intelligente esclusivamente dal testo, perché penso che la quantità di informazioni sul mondo contenuta nel testo sia piccola rispetto a ciò che abbiamo bisogno di sapere". Per illustrare il suo punto, ha fatto un esempio: “Prendo un oggetto, lo metto sul tavolo e spingo il tavolo. Per te è del tutto ovvio che l'oggetto verrebbe spinto con il tavolo. Tuttavia, con “un modello basato su testo, se alleni una macchina, per quanto potente possa essere, il tuo 'GPT-5000'. . . non ne verrà mai a conoscenza."

Ma se fornisci questo esempio a ChatGPT-3.5, ti verrà immediatamente fornita la risposta corretta.

In un'intervista pubblicata quattro giorni prima del suo licenziamento, Altman ha detto: “Finché non addestreremo quel modello [GPT-5], per noi sarà come un divertente gioco d'ipotesi. Stiamo cercando di migliorare, perché penso che sia importante, dal punto di vista della sicurezza, prevedere le capacità. Ma non posso dirvi esattamente cosa farà che GPT-4 non ha fatto."

La storia è piena di previsioni sbagliate sul ritmo dell’innovazione. Un editoriale del New York Times affermava che potrebbero volerci “da un milione a dieci milioni di anni” per sviluppare una macchina volante, sessantanove giorni prima che i fratelli Wright volassero per la prima volta. Nel 1933, Ernest Rutherford, il “padre della fisica nucleare”, scartò con sicurezza la possibilità di una reazione a catena indotta dai neutroni, ispirando il fisico Leo Szilard a ipotizzare una soluzione funzionante il giorno successivo – una soluzione che finì per essere fondamentale per la creazione della bomba atomica.

Una conclusione che sembra difficile da evitare è che, di recente, le persone più brave a costruire sistemi di intelligenza artificiale credono che l’AGI sia possibile e imminente. Forse i due principali laboratori di intelligenza artificiale, OpenAI e DeepMind, hanno lavorato per l'AGI sin dal loro inizio, a partire dal momento in cui ammettere che credevi fosse possibile in qualunque momento presto potrebbe farti ridere fuori dalla stanza. (Ilya Sutskever ha condotto un canto di "Feel the AGI" alla festa festiva del 2022 di OpenAI.)

Lavoratori perfetti

Idatori di lavoro stanno già utilizzando l’intelligenza artificiale per sorvegliare , controllare e sfruttare i lavoratori. Ma il vero sogno è tagliare gli esseri umani fuori dal giro. Dopotutto, come scrisse Marx, “La macchina è un mezzo per produrre plusvalore”.

Ajeya Cotra, ricercatrice sul rischio AI di Open Philanthropy (OP), mi ha scritto che “il punto finale logico di un’economia capitalista o di mercato massimamente efficiente” non coinvolgerebbe gli esseri umani perché “gli esseri umani sono solo creature molto inefficienti per fare soldi”. Diamo valore a tutte queste emozioni “commercialmente improduttive”, scrive, “quindi se alla fine ci divertiremo e ci piacerà il risultato, sarà perché siamo partiti dal potere e abbiamo modellato il sistema affinché si adattasse ai valori umani. "

OP è una fondazione ispirata a EA finanziata dal cofondatore di Facebook Dustin Moskovitz. È il principale finanziatore delle organizzazioni per la sicurezza dell'intelligenza artificiale, molte delle quali sono menzionate in questo articolo. L'OP ha inoltre concesso 30 milioni di dollari a OpenAI per sostenere il lavoro sulla sicurezza dell'intelligenza artificiale due anni prima che il laboratorio creasse un'unità a scopo di lucro nel 2019. In precedenza avevo ricevuto una sovvenzione una tantum per sostenere il lavoro di pubblicazione presso New York Focus , un'organizzazione no profit di notizie investigative che si occupava della politica di New York. , dai fondi EA, che a loro volta ricevono finanziamenti dall'OP. Dopo aver incontrato EA per la prima volta nel 2017, ho iniziato a donare dal 10 al 20% del mio reddito a organizzazioni no profit globali che si occupano di salute e anti-agricoltura intensiva, ho fatto volontariato come organizzatore di gruppi locali e ho lavorato presso un'organizzazione no profit adiacente contro la povertà globale. EA è stata una delle prime comunità a impegnarsi seriamente sul rischio esistenziale dell'IA, ma ho guardato i ragazzi dell'IA con una certa diffidenza, data l'incertezza del problema e l'immensa ed evitabile sofferenza che sta accadendo ora.

Un’AGI compiacente sarebbe il lavoratore capitalista che può solo sognare: instancabile, motivato e alleggerito dalla necessità di andare in bagno. I manager, da Frederick Taylor a Jeff Bezos, si risentono per i vari modi in cui gli esseri umani non sono ottimizzati per la produzione e, quindi, per i profitti del loro datore di lavoro. Anche prima dell’epoca della gestione scientifica di Taylor, il capitalismo industriale ha cercato di rendere i lavoratori più simili alle macchine con cui lavorano e da cui vengono sempre più sostituiti. Come osservava preveggentemente Il Manifesto del partito comunista , l’uso estensivo dei macchinari da parte dei capitalisti trasforma il lavoratore in “un’appendice della macchina”.

Ma secondo la comunità per la sicurezza dell’intelligenza artificiale, le stesse capacità disumane che farebbero sbavare Bezos rendono anche l’AGI un pericolo mortale per gli esseri umani.

Esplosione: il caso dell'estinzione

L’argomento comune del rischio x è: una volta che i sistemi di intelligenza artificiale raggiungono una certa soglia, saranno in grado di auto-migliorarsi ricorsivamente, dando il via a una “esplosione di intelligenza”. Se un nuovo sistema di intelligenza artificiale diventerà sufficientemente intelligente – o semplicemente potenziato – sarà in grado di indebolire permanentemente l’umanità.

Il documento di ottobre “ Gestione dei rischi legati all’intelligenza artificiale ” afferma:

Non esiste alcuna ragione fondamentale per cui il progresso dell’IA rallenterebbe o si fermerebbe quando raggiunge capacità di livello umano. . . . Rispetto agli esseri umani, i sistemi di intelligenza artificiale possono agire più velocemente, assorbire più conoscenza e comunicare con una larghezza di banda molto più elevata. Inoltre, possono essere scalati per utilizzare immense risorse computazionali e possono essere replicati a milioni.

Queste funzionalità hanno già consentito capacità sovrumane: gli LLM possono “leggere” gran parte di Internet in mesi e AlphaFold di DeepMind può eseguire anni di lavoro di laboratorio umano in pochi giorni.

Ecco una versione stilizzata dell’idea di crescita della “popolazione” che stimola un’esplosione di intelligenza: se i sistemi di intelligenza artificiale rivaleggiano con gli scienziati umani in ricerca e sviluppo, i sistemi prolifereranno rapidamente, portando all’equivalente di un numero enorme di nuovi lavoratori altamente produttivi che entrano nel mondo del lavoro. economia. In altre parole, se GPT-7 può eseguire la maggior parte dei compiti di un lavoratore umano e costa solo pochi dollari mettere il modello addestrato a lavorare su compiti di una giornata, ogni istanza del modello sarebbe estremamente redditizia, dando un calcio fuori da un ciclo di feedback positivo. Ciò potrebbe portare a una “popolazione” virtuale di miliardi o più di lavoratori digitali, ciascuno dei quali vale molto di più del costo dell’energia necessaria per farli funzionare. Sutskever ritiene probabile che “l’intera superficie della terra sarà ricoperta di pannelli solari e data center”.

Questi lavoratori digitali potrebbero essere in grado di migliorare i nostri progetti di intelligenza artificiale e avviarsi verso la creazione di sistemi “superintelligenti”, le cui capacità, secondo Alan Turing nel 1951, avrebbero presto “superato i nostri deboli poteri”. E, come sostengono alcuni sostenitori della sicurezza dell’intelligenza artificiale , un modello di intelligenza artificiale individuale non deve essere superintelligente per rappresentare una minaccia esistenziale; potrebbe semplicemente averne bisogno di abbastanza copie. Molte delle mie fonti hanno paragonato le aziende a superintelligenze, le cui capacità superano chiaramente quelle dei loro membri costituenti.

"Basta staccare la spina", è l'obiezione comune. Ma una volta che un modello di intelligenza artificiale sarà abbastanza potente da minacciare l’umanità, sarà probabilmente la cosa più preziosa esistente. Potrebbe essere più semplice “scollegare” la Borsa di New York o Amazon Web Services.

Una superintelligenza pigra potrebbe non rappresentare un grosso rischio, e gli scettici come Oren Etzioni, CEO dell’Allen Institute for AI, Melanie Mitchell, professoressa di complessità, e Sarah Myers West, direttrice generale dell’AI Now Institute, mi hanno detto di non aver visto prove convincenti che i sistemi di intelligenza artificiale siano efficaci. diventando più autonomo. Dario Amodei di Anthropic sembra concordare sul fatto che i sistemi attuali non mostrano un livello preoccupante di agency. Tuttavia, un sistema completamente passivo ma sufficientemente potente, gestito da un cattivo attore, è sufficiente a preoccupare persone come Bengio.

Inoltre, sia gli accademici che gli industriali stanno aumentando gli sforzi per rendere i modelli di intelligenza artificiale più autonomi. Giorni prima del suo licenziamento, Altman aveva dichiarato al Financial Times : “Renderemo questi agenti sempre più potenti. . . e da qui in poi le azioni diventeranno sempre più complesse. . . . Penso che il valore aziendale che deriverà dalla possibilità di farlo in ogni categoria sia piuttosto buono”.

Cosa c'è dietro l'hype?

La paura che tiene sveglie la notte molte persone a rischio X non è che un’intelligenza artificiale avanzata si “svegli”, “diventi malvagia” e decida di uccidere tutti per cattiveria, ma piuttosto che arrivi a vederci come un ostacolo al nostro sviluppo. qualunque sia l'obiettivo che ha. Nel suo ultimo libro, Brevi risposte alle grandi domande , Stephen Hawking ha articolato questo concetto, dicendo : "Probabilmente non sei un malvagio odiatore di formiche che calpesta le formiche per cattiveria, ma se sei responsabile di una centrale idroelettrica... progetto energetico e nella zona c’è un formicaio da allagare, peccato per le formiche”.

Comportamenti imprevisti e indesiderati possono derivare da obiettivi semplici, che si tratti di profitto o di una funzione di ricompensa dell'intelligenza artificiale. In un mercato “libero”, la ricerca del profitto porta a monopoli, schemi di marketing multilivello, aria e fiumi avvelenati e innumerevoli altri danni.

Esistono numerosi esempi di sistemi di intelligenza artificiale che mostrano comportamenti sorprendenti e indesiderati . Un programma pensato per eliminare gli errori di ordinamento in un elenco ha cancellato completamente l'elenco. Un ricercatore è rimasto sorpreso nel trovare un modello di intelligenza artificiale che “ si finge morto ” per evitare di essere identificato nei test di sicurezza.

Altri ancora vedono una cospirazione della Big Tech incombere dietro queste preoccupazioni. Alcune persone concentrate sui danni immediati derivanti dall’intelligenza artificiale sostengono che l’industria sta promuovendo attivamente l’idea che i loro prodotti potrebbero porre fine al mondo, come Myers West dell’AI Now Institute, che afferma di “vedere le narrazioni sul cosiddetto rischio esistenziale”. come una vera e propria opera teatrale per togliere tutta l'aria dalla stanza, in modo da garantire che non ci sia movimento significativo nel momento presente." Stranamente, Yann LeCun e Andrew Ng, capo scienziato dell’intelligenza artificiale di Baidu , sostengono di essere d’accordo.

Quando ho proposto l’idea ai credenti del rischio x, spesso hanno risposto con un misto di confusione ed esasperazione. Ajeya Cotra di OP ha risposto: “Vorrei che preoccuparsi del rischio x fosse meno una cosa legata all'industria, perché penso che sia fondamentalmente, nel merito, una convinzione molto anti-industriale da avere. . . . Se le aziende stanno costruendo cose che ci uccideranno tutti, è davvero grave, e dovrebbero essere limitate in modo molto severo dalla legge”.

Markus Anderljung di GovAI ha definito i timori di un controllo normativo “una reazione naturale per le persone”, ma ha sottolineato che le sue politiche preferite potrebbero danneggiare i più grandi attori del settore.

Una comprensibile fonte di sospetto è che Sam Altman sia ora una delle persone maggiormente associate all’idea del rischio esistenziale, ma la sua azienda ha fatto più di ogni altra per far avanzare la frontiera dell’IA generica.

Inoltre, man mano che OpenAI si avvicinava alla redditività e Altman si avvicinava al potere, il CEO ha cambiato il suo tono pubblico. In una sessione di domande e risposte del gennaio 2023, quando gli è stato chiesto quale fosse il suo scenario peggiore per l’intelligenza artificiale, ha risposto : “Luci spente per tutti noi”. Ma pur rispondendo a una domanda simile sotto giuramento davanti ai senatori a maggio, Altman non menziona l’estinzione. E, forse nella sua ultima intervista prima del suo licenziamento, Altman ha detto : “In realtà non penso che ci estingueremo tutti. Penso che sarà fantastico. Penso che stiamo andando verso il mondo migliore di sempre”.

Altman ha implorato il Congresso a maggio di regolamentare il settore dell'intelligenza artificiale, ma un'indagine di novembre ha scoperto che la società quasi-madre di OpenAI, Microsoft, è stata influente nelle pressioni , alla fine infruttuose , per escludere "modelli di base" come ChatGPT dalla regolamentazione dell'imminente legge UE sull'intelligenza artificiale. E Altman ha fatto molto lobbying nell’UE, minacciando persino di ritirarsi dalla regione se le normative fossero diventate troppo onerose (minacce che ha subito ritirato ). Intervenendo a un panel di amministratori delegati a San Francisco, giorni prima della sua cacciata, Altman ha affermato che “i modelli attuali vanno bene. Non abbiamo bisogno di una regolamentazione pesante qui. Probabilmente nemmeno per le prossime due generazioni”.

Il recente ordine esecutivo “radicale” del presidente Joe Biden sull’intelligenza artificiale sembra essere d’accordo: i suoi requisiti di condivisione delle informazioni sui test di sicurezza riguardano solo modelli più grandi di quelli che probabilmente sono stati addestrati finora. Myers West ha definito questo tipo di “soglie di scala” una “massiccia eccezione”. Anderljung mi ha scritto che la regolamentazione dovrebbe adattarsi alle capacità e all'utilizzo di un sistema, e ha detto che "vorrebbe una regolamentazione dei modelli odierni più efficaci e ampiamente utilizzati", ma pensa che "sarebbe molto più fattibile politicamente imporre requisiti su sistemi che devono ancora essere sviluppati”.

Inioluwa Deborah Raji ha azzardato che se i giganti della tecnologia “sanno che devono essere i cattivi in ​​​​una certa dimensione. . . preferirebbero che fosse astratto e a lungo termine nella sequenza temporale. Questo mi sembra molto più plausibile dell'idea che le Big Tech vogliano effettivamente promuovere l'idea che i loro prodotti abbiano una discreta possibilità di uccidere letteralmente tutti .Le posizioni “L’intelligenza artificiale causa danni adesso” e “L’intelligenza artificiale potrebbe porre fine al mondo” non si escludono a vicenda.

Quasi settecento persone hanno firmato la lettera di estinzione , la maggior parte dei quali accademici. Solo uno di loro gestisce una società quotata in borsa: il finanziatore di OP Moskovitz, che è anche cofondatore e amministratore delegato di Asana, un’app per la produttività. Non c’erano dipendenti di Amazon, Apple, IBM o di qualsiasi azienda leader nel settore dell’hardware AI. Nessun dirigente Meta ha firmato.

Se i capi delle grandi aziende tecnologiche volessero amplificare la narrativa dell’estinzione, perché non hanno aggiunto i loro nomi alla lista? 

Perché costruire la "macchina del destino?"

Se l’intelligenza artificiale salva davvero il mondo, chiunque l’abbia creata potrebbe sperare di essere lodato come un moderno Giulio Cesare. E anche se così non fosse, chiunque per primo costruisca “l’ultima invenzione che l’uomo abbia mai bisogno di fare” non dovrà preoccuparsi di essere dimenticato dalla storia – a meno che, ovviamente, la storia non finisca bruscamente dopo la sua invenzione.

Connor Leahy ritiene che, nel nostro percorso attuale, la fine della storia seguirà a breve l’avvento dell’AGI. Con i suoi capelli fluenti e il pizzetto incolto, probabilmente sembrerebbe a casa indossando un cartellone con la scritta "La fine è vicina" - anche se questo non gli ha impedito di essere invitato a parlare alla Camera dei Lord britannica o alla CNN. Il ventottenne CEO di Conjecture e cofondatore di EleutherAI, un influente collettivo open source, mi ha detto che gran parte della motivazione per costruire l'intelligenza artificiale si riduce a: "'Oh, stai costruendo la macchina del destino finale". questo ti fa guadagnare miliardi di dollari e anche re-imperatore della terra o uccide tutti?' Sì, è come il sogno maschile. Dici: 'Cazzo, sì. Io sono il re del destino.'” E continua: “Ho capito. Questo rientra molto nell’estetica della Silicon Valley”.

Leahy ha anche comunicato qualcosa che non sorprenderà le persone che hanno trascorso molto tempo nella Bay Area o in certi angoli di Internet:

Ci sono uomini d'affari e tecnologi tecno-utopici, completamente irresponsabili, non eletti, che vivono principalmente a San Francisco, che sono disposti a rischiare la vita tua, dei tuoi figli, dei tuoi nipoti e di tutta l'umanità futura solo perché potrebbero avere una possibilità vivere per sempre.

A marzo, il MIT Technology Review ha riferito che Altman “dice di aver svuotato il suo conto bancario per finanziarne due. . . obiettivi: energia illimitata e durata della vita prolungata.

Considerato tutto ciò, ci si potrebbe aspettare che la comunità etica consideri la comunità della sicurezza come un alleato naturale in una lotta comune per tenere sotto controllo le élite tecnologiche irresponsabili che stanno costruendo unilateralmente prodotti rischiosi e dannosi. E, come abbiamo visto in precedenza, molti sostenitori della sicurezza hanno fatto aperture agli esperti di etica dell’IA. È anche raro che persone appartenenti alla comunità a rischio x attacchino pubblicamente l'etica dell'IA (mentre è vero il contrario... non è vero ), ma la realtà è che i sostenitori della sicurezza a volte sono stati difficili da digerire.

Gli esperti di etica dell'intelligenza artificiale, come le persone che difendono, spesso riferiscono di sentirsi emarginati e tagliati fuori dal potere reale, combattendo una dura battaglia con le aziende tecnologiche che le vedono come un modo per pararsi il culo piuttosto che come una vera priorità. A dare credito a questa sensazione è lo sventramento dei team di etica dell’intelligenza artificiale in molte grandi aziende tecnologiche negli ultimi anni (o giorni). E, in numerosi casi, queste aziende hanno attuato ritorsioni contro informatori e sindacalisti orientati all’etica .

Ciò non implica necessariamente che queste aziende stiano invece dando seriamente priorità al rischio x. Il comitato etico di Google DeepMind, che comprendeva Larry Page e l’eminente ricercatore sul rischio esistenziale Toby Ord, si è riunito per la prima volta nel 2015, ma non ne ha mai avuto una seconda. Un ricercatore di Google AI mi ha scritto che “non parlano di rischio a lungo termine. . . in ufficio”, continua, “Google è più focalizzato sulla costruzione della tecnologia e sulla sicurezza nel senso di legalità e offensività”.

L'ingegnere informatico Timnit Gebru ha co-guidato il team di intelligenza artificiale etica di Google fino a quando non è stata costretta a lasciare l'azienda alla fine del 2020 a seguito di una disputa su una bozza di documento, ora una delle pubblicazioni sull'apprendimento automatico più famose di sempre. Nell’articolo sui “pappagalli stocastici” , Gebru e i suoi coautori sostengono che gli LLM danneggiano l’ambiente, amplificano i pregiudizi sociali e utilizzano le statistiche per unire “casualmente” il linguaggio “senza alcun riferimento al significato”.

Gebru, che non è un sostenitore della comunità della sicurezza dell'intelligenza artificiale, ha chiesto una maggiore protezione degli informatori per i ricercatori dell'intelligenza artificiale, che è anche una delle principali raccomandazioni formulate nel libro bianco di GovAI . Da quando Gebru è stato espulso da Google, quasi 2.700 dipendenti hanno firmato una lettera solidale , ma il googler Geoff Hinton non era uno di questi. Quando gli è stato chiesto alla CNN perché non sostenesse un collega informatore, Hinton ha risposto che le critiche di Gebru all’intelligenza artificiale “erano preoccupazioni piuttosto diverse dalle mie” che “non sono esistenzialmente serie quanto l’idea che queste cose diventino più intelligenti di noi e prendano il sopravvento”. Sopra."

Raji mi ha detto che “molti motivi di frustrazione e animosità” tra i campi dell’etica e della sicurezza sono che “una parte ha molto più denaro e potere dell’altra”, il che “permette loro di portare avanti la propria agenda in modo più diretto. "

Secondo una stima , nel 2022 la quantità di denaro destinata alle start-up e alle organizzazioni no-profit legate alla sicurezza dell’intelligenza artificiale è quadruplicata rispetto al 2020, raggiungendo i 144 milioni di dollari. È difficile trovare una figura equivalente per la comunità etica dell’IA. Tuttavia, la società civile di entrambi i fronti è sminuita dalla spesa dell’industria. Solo nel primo trimestre del 2023, OpenSecrets ha riferito che circa 94 milioni di dollari sono stati spesi per attività di lobbying sull’intelligenza artificiale negli Stati Uniti. LobbyControl stima che quest'anno le aziende tecnologiche abbiano speso 113 milioni di euro per esercitare pressioni sull'UE e, come ricordiamo, centinaia di miliardi di dollari vengono investiti nel settore dell'intelligenza artificiale mentre parliamo.

Una cosa che può alimentare l’animosità ancor più di qualsiasi differenza percepita in termini di potere e denaro è la linea di tendenza. Dopo libri ampiamente apprezzati come Weapons of Math Destruction del 2016 , della scienziata Cathy O'Neil, e scoperte bomba di pregiudizi algoritmici, come il documento " Gender Shades " di Buolamwini e Gebru del 2018, la prospettiva etica dell'IA ha catturato l'attenzione e il sostegno del pubblico .

Nel 2014, la causa del rischio x dell'IA ha avuto il suo bestseller a sorpresa, Superintelligence del filosofo Nick Bostrom , che sosteneva che l'intelligenza artificiale extraumana potrebbe portare all'estinzione e ha guadagnato elogi da figure come Elon Musk e Bill Gates. Ma Yudkowsky mi ha detto che, prima di ChatGPT, al di fuori di certi circoli della Silicon Valley, intrattenere seriamente la tesi del libro avrebbe fatto sì che la gente ti guardasse in modo strano. I primi sostenitori della sicurezza dell’intelligenza artificiale come Yudkowsky hanno occupato la strana posizione di mantenere stretti legami con la ricchezza e il potere attraverso i tecnici della Bay Area, pur rimanendo emarginati nel discorso più ampio.

Nel mondo post-ChatGPT, i destinatari di Turing e i premi Nobel stanno uscendo dall’armadio della sicurezza dell’intelligenza artificiale e abbracciando le argomentazioni rese popolari da Yudkowsky, la cui pubblicazione più nota è un pezzo di fan fiction di Harry Potter per un totale di oltre 660.000 parole.

Forse il presagio più scioccante di questo nuovo mondo è stato trasmesso a novembre, quando i conduttori di un podcast tecnologico del New York Times , Hard Fork , hanno chiesto al presidente della Federal Trade Commission: “Qual è il tuo destino), Lina Khan? Qual è la tua probabilità che l’intelligenza artificiale ci uccida tutti?” Il discorso sui refrigeratori d'acqua di EA è diventato mainstream. (Khan ha detto di essere “ottimista” e ha fornito una stima “bassa” del 15% .)

Sarebbe facile osservare tutte le lettere aperte e i cicli mediatici e pensare che la maggior parte dei ricercatori sull’intelligenza artificiale si stia mobilitando contro il rischio esistenziale. Ma quando ho chiesto a Bengio come viene percepito il rischio x oggi nella comunità del machine learning, ha risposto: “Oh, è cambiato molto. Una volta lo 0,1% delle persone prestava attenzione alla domanda. E forse ora è al 5 %”.

Probabilità

Come molti altri preoccupati per il rischio x dell’IA, il famoso filosofo della mente David Chalmers ha fatto un argomento probabilistico durante la nostra conversazione: “Questa non è una situazione in cui devi essere sicuro al 100% che avremo un’intelligenza artificiale a livello umano di cui preoccuparci”. a proposito. Se è il 5%, è qualcosa di cui dobbiamo preoccuparci”.

Questo tipo di pensiero statistico è popolare nella comunità EA ed è gran parte di ciò che ha portato i suoi membri a concentrarsi in primo luogo sull'intelligenza artificiale. Se ti rimandi alle argomentazioni degli esperti, potresti ritrovarti ancora più confuso. Ma se provi a fare la media delle preoccupazioni degli esperti tra una manciata di sondaggi , potresti finire per pensare che ci sia almeno una piccola percentuale di possibilità che possa verificarsi l’estinzione dell’IA, il che potrebbe essere sufficiente a renderla la cosa più importante al mondo. E se si attribuisce un valore a tutte le generazioni future che potrebbero esistere, l’estinzione umana è categoricamente peggiore delle catastrofi a cui si può sopravvivere.

Tuttavia, nel dibattito sull’intelligenza artificiale, abbondano le accuse di arroganza. Scettici come Melanie Mitchell e Oren Etzioni mi hanno detto che non c'erano prove a sostegno della tesi del rischio x, mentre credenti come Bengio e Leahy sottolineano i sorprendenti guadagni di capacità e si chiedono: e se il progresso non si fermasse? Un amico ricercatore accademico sull’intelligenza artificiale ha paragonato l’avvento dell’AGI al gettare l’economia e la politica globale in un frullatore.

Anche se, per qualche motivo, l’AGI può solo eguagliare e non superare l’intelligenza umana, la prospettiva di condividere la terra con un numero quasi arbitrariamente elevato di agenti digitali di livello umano è terrificante, soprattutto quando probabilmente cercheranno di fare soldi a qualcuno. .

Ci sono troppe idee politiche su come ridurre il rischio esistenziale derivante dall’intelligenza artificiale per discuterle adeguatamente qui. Ma uno dei messaggi più chiari che arrivano dalla comunità della sicurezza dell’IA è che dovremmo “rallentare”. I sostenitori di tale decelerazione sperano che ciò dia ai politici e alla società in generale la possibilità di recuperare il ritardo e decidere attivamente come sviluppare e implementare una tecnologia potenzialmente trasformativa.

Cooperazione internazionale

Una delle risposte più comuni a qualsiasi tentativo di regolamentare l’intelligenza artificiale è il “ma la Cina!” obiezione. Altman, ad esempio, a maggio ha dichiarato a una commissione del Senato che “vogliamo che l’America sia alla guida” e ha riconosciuto che il pericolo di un rallentamento è che “la Cina o qualcun altro faccia progressi più rapidi”.

Anderljung mi ha scritto che questa “non è una ragione abbastanza forte per non regolamentare l’intelligenza artificiale”.

In un articolo di giugno su Foreign Affairs , Helen Toner e due politologi hanno riferito che i ricercatori cinesi sull’intelligenza artificiale da loro intervistati pensavano che i LLM cinesi fossero almeno due o tre anni indietro rispetto ai modelli americani all’avanguardia. Inoltre, gli autori sostengono che, poiché i progressi dell’intelligenza artificiale cinese “dipendono in gran parte dalla riproduzione e dalla modifica delle ricerche pubblicate all’estero”, un rallentamento unilaterale “probabilmente rallenterebbe” anche il progresso cinese. La Cina si è anche mossa più velocemente di qualsiasi altro grande paese per regolamentare in modo significativo l’intelligenza artificiale, come ha osservato il capo delle politiche antropiche Jack Clark .

Yudkowsky afferma: “In realtà non è nell’interesse della Cina suicidarsi insieme al resto dell’umanità”.

Se l’intelligenza artificiale avanzata minaccia davvero il mondo intero, la regolamentazione nazionale da sola non basterà a risolvere il problema. Ma forti restrizioni nazionali potrebbero segnalare in modo credibile ad altri paesi quanto seriamente si prendono i rischi. Il famoso studioso di etica dell’intelligenza artificiale Rumman Chowdhury ha chiesto una supervisione globale. Bengio dice che “dobbiamo fare entrambe le cose”.

Yudkowsky, senza alcuna sorpresa, ha assunto una posizione massimalista , dicendomi che “la direzione corretta sembra più quella di mettere tutto l’hardware di intelligenza artificiale in un numero limitato di data center sotto la supervisione internazionale di organismi con un trattato simmetrico in base al quale nessuno – compresi i militari, i governi , la Cina o la CIA – possono fare qualsiasi cosa davvero terribile, inclusa la costruzione di superintelligenze”.

In un controverso editoriale del Time di marzo, Yudkowsky ha sostenuto di “chiudere tutto” stabilendo una moratoria internazionale su “nuovi grandi corsi di addestramento” sostenuti dalla minaccia della forza militare. Considerata la forte convinzione di Yudkowsky secondo cui l’intelligenza artificiale avanzata sarebbe molto più pericolosa di qualsiasi arma nucleare o biologica, questa posizione radicale segue naturalmente.

Tutti i ventotto paesi partecipanti al recente vertice sulla sicurezza dell’intelligenza artificiale, compresi Stati Uniti e Cina, hanno firmato la Dichiarazione di Bletchley , che riconosce i danni esistenti derivanti dall’intelligenza artificiale e il fatto che “rischi sostanziali possono derivare da un potenziale uso improprio intenzionale o da problemi di controllo non intenzionali relativi all’intelligenza artificiale”. allineamento con l’intento umano”.

Al vertice, il governo britannico ospitante ha incaricato Bengio di guidare la produzione del primo rapporto “State of the Science” sulle “capacità e i rischi dell’intelligenza artificiale di frontiera”, in un passo significativo verso un organismo di esperti permanente come il Gruppo intergovernativo sui cambiamenti climatici. .

La cooperazione tra Stati Uniti e Cina sarà fondamentale per un significativo coordinamento internazionale sullo sviluppo dell’intelligenza artificiale. E quando si tratta di intelligenza artificiale, i due paesi non sono esattamente nei migliori rapporti. Con i controlli sulle esportazioni del CHIPS Act del 2022, gli Stati Uniti hanno cercato di mettere in ginocchio le capacità di intelligenza artificiale della Cina, qualcosa che un analista del settore avrebbe precedentemente considerato un “ atto di guerra ”. Come riportato da Jacobin a maggio, è probabile che alcuni ricercatori politici orientati al rischio x abbiano avuto un ruolo nel superare gli onerosi controlli. A ottobre, gli Stati Uniti hanno inasprito le restrizioni del CHIPS Act per colmare le lacune.

Tuttavia, con un segnale incoraggiante, a novembre Biden e Xi Jinping hanno discusso della sicurezza dell’intelligenza artificiale e del divieto dell’intelligenza artificiale nei sistemi di armi letali. Un comunicato stampa della Casa Bianca afferma: “I leader hanno affermato la necessità di affrontare i rischi dei sistemi avanzati di intelligenza artificiale e di migliorare la sicurezza dell’IA attraverso i colloqui tra il governo USA e Cina”.

Anche le armi autonome letali costituiscono un’area di relativo accordo nei dibattiti sull’IA. Nel suo nuovo libro Unmasking AI: My Mission to Protect What Is Human in a World of Machines , Joy Buolamwini sostiene la campagna Stop Killer Robots, facendo eco a una preoccupazione di lunga data di molti sostenitori della sicurezza dell’IA. Il Future of Life Institute, un’organizzazione a rischio x, ha riunito oppositori ideologici per firmare una lettera aperta del 2016 chiedendo il divieto delle LEGGI offensive, tra cui Bengio, Hinton, Sutton, Etzioni, LeCun, Musk, Hawking e Noam Chomsky.

Un posto a tavola

Dopo anni di inazione, i governi di tutto il mondo stanno finalmente rivolgendo la loro attenzione all’intelligenza artificiale . Ma non impegnandosi seriamente su ciò che i sistemi futuri potrebbero fare, i socialisti stanno cedendo il loro posto al tavolo.

In gran parte a causa del tipo di persone che furono attratte dall’intelligenza artificiale, molti dei primi seri adottatori dell’idea del rischio x decisero di impegnarsi in ricerche estremamente teoriche su come controllare l’intelligenza artificiale avanzata o di avviare società di intelligenza artificiale. Ma per un diverso tipo di persona, la risposta alla convinzione che l’intelligenza artificiale possa porre fine al mondo è cercare di convincere le persone a smettere di costruirla .

I sostenitori continuano a dire che lo sviluppo dell’intelligenza artificiale è inevitabile – e se un numero sufficiente di persone ci crede, diventa vero. Ma “non c’è nulla nell’intelligenza artificiale che sia inevitabile”, scrive l’AI Now Institute. L’amministratore delegato Myers West ha fatto eco a questo, menzionando che la tecnologia di riconoscimento facciale sembrava inevitabile nel 2018 ma da allora è stata vietata in molti luoghi. E come sottolinea la ricercatrice sui rischi x Katja Grace , non dovremmo sentire il bisogno di costruire ogni tecnologia semplicemente perché possiamo.

Inoltre, molti politici stanno guardando i recenti progressi dell’intelligenza artificiale e stanno andando fuori di testa . Il senatore Mitt Romney è “più terrorizzato dall’intelligenza artificiale” che ottimista, e il suo collega Chris Murphy afferma : “Le conseguenze di così tante funzioni umane affidate all’intelligenza artificiale sono potenzialmente disastrose”. I deputati Ted Lieu e Mike Johnson sono letteralmente “fuori di testa” dall’intelligenza artificiale. Se alcuni tecnici sono gli unici disposti a riconoscere che le capacità dell’intelligenza artificiale sono notevolmente migliorate e potrebbero rappresentare una minaccia a livello di specie in futuro, ecco a chi i politici daranno ascolto in modo sproporzionato. A maggio, il professore ed esperto di etica dell'intelligenza artificiale Kristian Lum ha twittato : "C'è un rischio esistenziale che sono certo pongono i LLM ed è per la credibilità del campo del FAccT [equità, responsabilità e trasparenza] / intelligenza artificiale etica se continuiamo a spingere l'olio di serpente narrativa su di loro."

Anche se l’idea di un’estinzione guidata dall’intelligenza artificiale ti sembra più una scienza che una scienza, potrebbe comunque avere un enorme impatto nell’influenzare il modo in cui viene sviluppata una tecnologia trasformativa e quali valori rappresenta. Supponendo che possiamo convincere un’ipotetica AGI a fare ciò che vogliamo, solleva forse la domanda più importante che l’umanità dovrà mai affrontare: cosa dovremmo volere ?

Quando ho chiesto informazioni a Chalmers, ha detto: “Ad un certo punto ricapitoliamo tutte le domande della filosofia politica: che tipo di società vogliamo realmente e che apprezziamo realmente?”Ordini di grandezza in più sono i soldi e le persone si dedicano silenziosamente a rendere i sistemi di intelligenza artificiale più potenti che a renderli più sicuri.

Un modo di pensare all’avvento dell’intelligenza artificiale a livello umano è che sarebbe come creare la costituzione di un nuovo paese (l’“ intelligenza artificiale costituzionale ” di Anthropic prende questa idea alla lettera, e la società ha recentemente sperimentato l’incorporazione dell’input democratico nel documento fondamentale del suo modello). I governi sono sistemi complessi che esercitano un potere enorme. Le fondamenta su cui sono fondati possono influenzare la vita di milioni di persone, ora e in futuro. Gli americani vivono sotto il giogo di uomini morti che avevano così tanta paura del pubblico da adottare misure antidemocratiche che continuano ad affliggere il nostro sistema politico più di due secoli dopo.

L’intelligenza artificiale potrebbe essere più rivoluzionaria di qualsiasi innovazione del passato. È anche una tecnologia unicamente normativa, dato che la costruiamo per riflettere le nostre preferenze. Come ha recentemente riflettuto Jack Clark a Vox , “È davvero strano che questo non sia un progetto governativo”. Chalmers mi ha detto: “Una volta che all’improvviso le aziende tecnologiche cercano di incorporare questi obiettivi nei sistemi di intelligenza artificiale, dobbiamo davvero fidarci delle aziende tecnologiche per risolvere queste questioni sociali e politiche molto profonde. Non ne sono sicuro." Ha sottolineato: "Non sei solo nella riflessione tecnica su questo, ma nella riflessione sociale e politica".

False scelte

Potrebbe non essere necessario aspettare per trovare sistemi superintelligenti che non diano priorità all’umanità. Gli agenti sovrumani ottimizzano spietatamente per una ricompensa a scapito di qualsiasi altra cosa a cui potremmo interessare. Quanto più abile è l'agente e quanto più spietato è l' ottimizzatore , tanto più estremi saranno i risultati.

Suona familiare? Se è così, non sei solo. L’AI Objectives Institute (AOI) considera sia il capitalismo che l’intelligenza artificiale come esempi di ottimizzatori disallineati. Cofondato dall’ex conduttrice di un programma radiofonico pubblico Brittney Gallagher e dall’” eroe della privacy ” Peter Eckersley poco prima della sua morte inaspettata, il laboratorio di ricerca esamina lo spazio tra annientamento e utopia, “una continuazione delle tendenze esistenti di concentrazione del potere in meno mani – super-caricata facendo avanzare l’intelligenza artificiale, piuttosto che una brusca rottura con il presente”. Il presidente dell’AOI Deger Turan mi ha detto: “Il rischio esistenziale è l’incapacità di coordinarsi di fronte a un rischio”. Dice che “dobbiamo creare ponti tra” la sicurezza dell’IA e l’etica dell’IA.

Una delle idee più influenti negli ambienti a rischio x è la maledizione dell'unilateralista , un termine per situazioni in cui un attore solitario può rovinare le cose per l'intero gruppo. Ad esempio, se un gruppo di biologi scopre un modo per rendere una malattia più mortale, ne basta uno solo per pubblicarlo. Negli ultimi decenni, molte persone si sono convinte che l’intelligenza artificiale potrebbe spazzare via l’umanità, ma solo le persone più ambiziose e tolleranti al rischio hanno avviato le aziende che stanno avanzando la frontiera delle capacità dell’intelligenza artificiale o, come ha recentemente affermato Sam Altman . esso , spingendo indietro il “velo dell’ignoranza”. Come allude il CEO, non abbiamo modo di sapere veramente cosa si trova oltre il limite tecnologico.

Alcuni di noi comprendono appieno i rischi, ma vanno comunque avanti. Con l'aiuto dei migliori scienziati, nel 1977 la ExxonMobil scoprì definitivamente che il suo prodotto causava il riscaldamento globale. Hanno poi mentito al pubblico al riguardo, il tutto mentre costruivano le loro piattaforme petrolifere più in alto.

L’idea che la combustione del carbonio potesse riscaldare il clima fu ipotizzata per la prima volta alla fine del XIX secolo, ma ci sono voluti quasi cento anni per formarsi il consenso scientifico sul cambiamento climatico. L’idea che potremmo perdere permanentemente il controllo a favore delle macchine è più antica dell’informatica digitale, ma rimane lontana dal consenso scientifico. E se i recenti progressi nel campo dell’intelligenza artificiale continueranno a ritmo sostenuto, potremmo non avere decenni per formare un consenso prima di agire in modo significativo.

Il dibattito che si svolge nella pubblica piazza potrebbe portarti a credere che dobbiamo scegliere tra affrontare i danni immediati dell’intelligenza artificiale e i suoi rischi esistenziali intrinsecamente speculativi. E ci sono certamente dei compromessi che richiedono un’attenta considerazione.

Ma quando si considerano le forze materiali in gioco, emerge un quadro diverso: da un lato ci sono aziende da trilioni di dollari che cercano di rendere i modelli di intelligenza artificiale più potenti e redditizi; in un altro, trovi gruppi della società civile che cercano di fare in modo che l’intelligenza artificiale rifletta valori che abitualmente si scontrano con la massimizzazione del profitto.

In breve, è capitalismo contro umanità.