La trappola che l’Anthropic ha costruito per se stessa

Venerdì pomeriggio, proprio mentre questa intervista stava per iniziare, una notizia è apparsa sullo schermo del mio laptop: l’amministrazione Trump stava recidendo i legami con Anthropic, la società di intelligenza artificiale di San Francisco fondata nel 2021 da Dario Amodei e altri ex ricercatori di OpenAI che hanno lasciato da parte le preoccupazioni sulla sicurezza. Il segretario alla Difesa Pete Hegseth aveva invocato una legge sulla sicurezza nazionale – progettata per contrastare le minacce alla catena di approvvigionamento straniera – per inserire nella lista nera della società i rapporti commerciali con il Pentagono dopo che Amodei si period rifiutato di consentire che la tecnologia di Anthropic fosse utilizzata per la sorveglianza di massa dei cittadini statunitensi o per droni armati autonomi in grado di selezionare e uccidere obiettivi senza intervento umano.

È stata una sequenza sbalorditiva. Anthropic è ora destinata a perdere un contratto del valore di 200 milioni di dollari, oltre a vedersi vietata la collaborazione con altri appaltatori della difesa dopo che il presidente Trump ha pubblicato su Fact Social ordinando a tutte le agenzie federali di “cessare immediatamente ogni uso della tecnologia Anthropic”. (Da allora Anthropic ha detto che lo farà sfidare il Pentagono in tribunaledefinendo la designazione del rischio della catena di fornitura giuridicamente infondata e “mai applicata pubblicamente prima a un’azienda americana.”)

Max Tegmark ha passato quasi un decennio advert avvertire che la corsa per costruire sistemi di intelligenza artificiale sempre più potenti sta superando la capacità del mondo di governarli. Il fisico svedese-americano e professore al MIT ha fondato il Istituto per il futuro della vita nel 2014. Nel 2023, notoriamente ha contribuito a organizzare un lettera aperta – firmato alla high quality da più di 33.000 persone, tra cui Elon Musk – chiedendo una pausa nello sviluppo dell’IA avanzata.

La sua visione della crisi antropica è spietata: l’azienda, come i suoi rivali, ha gettato i semi della propria difficile situazione. L’argomentazione di Tegmark non parte dal Pentagono ma da una decisione presa anni prima: una scelta, condivisa in tutto il settore, di resistere a una regolamentazione vincolante. Anthropic, OpenAI, Google DeepMind e altri promettono da tempo di governarsi in modo responsabile. All’inizio di questa settimana, Anthropic ha addirittura abbandonato il principio centrale del proprio impegno in materia di sicurezza – la promessa di non rilasciare sistemi di intelligenza artificiale sempre più potenti finché l’azienda non fosse sicura che non avrebbero causato danni.

Ora, in assenza di regole, non c’è molto per proteggere questi giocatori, cube Tegmark. Ecco altro da quell’intervista, modificato per lunghezza e chiarezza. Potrai ascoltare la conversazione completa la prossima settimana su TechCrunch Scarica rigorosamenteVC podcast.

Quando poco fa hai visto questa notizia su Anthropic, qual è stata la tua prima reazione?

La strada per l’inferno è lastricata di buone intenzioni. È così interessante ripensare a dieci anni fa, quando le persone erano così entusiaste di come avremmo creato l’intelligenza artificiale per curare il cancro, per aumentare la prosperità in America e rendere l’America forte. Ed eccoci qui ora che il governo degli Stati Uniti è incazzato con questa azienda perché non vuole che l’intelligenza artificiale venga utilizzata per la sorveglianza di massa interna degli americani, e anche perché non vuole avere robotic killer che possano autonomamente – senza alcun enter umano – decidere chi verrà ucciso.

Anthropic ha scommesso tutta la sua identità sull’essere un’azienda di intelligenza artificiale attenta alla sicurezza, eppure collaborava con agenzie di difesa e di intelligence [dating back to at least 2024]. Pensi che sia del tutto contraddittorio?

È contraddittorio. Se posso dare una visione un po’ cinica della questione, sì, Anthropic è stata molto brava a pubblicizzarsi come una questione di sicurezza. Ma se guardi effettivamente ai fatti piuttosto che alle affermazioni, quello che vedi è che Anthropic, OpenAI, Google DeepMind e xAI hanno tutti parlato molto di come si preoccupano della sicurezza. Nessuno di loro si è espresso a sostegno di norme vincolanti sulla sicurezza come abbiamo fatto in altri settori. E tutte e quattro queste società hanno infranto le proprie promesse. Prima abbiamo avuto Google: questo grande slogan: “Non essere cattivo”. Poi l’hanno abbandonato. Poi hanno abbandonato un altro impegno più lungo che sostanzialmente diceva che avevano promesso di non arrecare danni con l’intelligenza artificiale. L’hanno abbandonato per poter vendere l’intelligenza artificiale per la sorveglianza e le armi. OpenAI ha appena eliminato la parola sicurezza dalla sua dichiarazione di intenti. xAI ha interrotto l’intera squadra di sicurezza. E ora Anthropic, all’inizio della settimana, ha abbandonato il suo più importante impegno in materia di sicurezza: la promessa di non rilasciare potenti sistemi di intelligenza artificiale finché non fossero stati sicuri che non avrebbero causato danni.

Come sono finite in questa posizione le aziende che hanno assunto impegni così importanti in materia di sicurezza?

Tutte queste aziende, in particolare OpenAI e Google DeepMind ma in una certa misura anche Anthropic, hanno esercitato pressioni persistenti contro la regolamentazione dell’intelligenza artificiale, dicendo: “Fidati di noi, ci regoleremo da soli”. E hanno esercitato pressioni con successo. Quindi in questo momento in America abbiamo meno regolamentazione sui sistemi di intelligenza artificiale che sui panini. Sai, se vuoi aprire una paninoteca e l’ispettore sanitario trova 15 topi in cucina, non ti permetterà di vendere nessun panino finché non sistemi il problema. Ma se dici: “Non preoccuparti, non venderò panini, venderò fidanzate con intelligenza artificiale per ragazzine di 11 anni, che sono state collegate a suicidi in passato, e poi pubblicherò qualcosa chiamato superintelligenza che potrebbe rovesciare il governo degli Stati Uniti, ma ho una buona sensazione riguardo alla mia” — l’ispettore deve dire: “Va bene, vai avanti, semplicemente non vendere panini”.

Esiste una regolamentazione sulla sicurezza alimentare e nessuna regolamentazione sull’intelligenza artificiale.

E di questo, credo, tutte queste aziende condividono davvero la colpa. Perché se avessero accettato tutte queste promesse fatte in passato su come sarebbero stati così sicuri e buoni, e si fossero riuniti, e poi fossero andati al governo e avessero detto: “Per favore, prendete i nostri impegni volontari e trasformateli nella legge statunitense che vincola anche i nostri concorrenti più sciatti”, invece questo sarebbe successo. Siamo in un completo vuoto normativo. E sappiamo cosa succede quando c’è un’amnistia aziendale completa: ottieni talidomideci sono le aziende del tabacco che promuovono le sigarette sui bambini, ci sono l’amianto che causa il cancro ai polmoni. Quindi è un po’ ironico che la loro stessa resistenza advert avere leggi che dicano cosa va bene e cosa non va bene fare con l’intelligenza artificiale ora ritorni e li morda.

Al momento non esiste una legge contro la creazione di un’intelligenza artificiale per uccidere gli americani, quindi il governo potrebbe chiederlo all’improvviso. Se le aziende stesse avessero detto prima: “Vogliamo questa legge”, non si troverebbero nei guai. Si sono davvero sparati la zappa sui piedi.

La controargomentazione delle aziende è sempre la corsa con la Cina: se non lo fanno le aziende americane, lo farà Pechino. Questa argomentazione è valida?

Analizziamolo. Il punto di discussione più comune da parte dei lobbisti delle aziende di intelligenza artificiale – ora sono meglio finanziati e più numerosi dei lobbisti dell’industria dei combustibili fossili, dell’industria farmaceutica e del complesso militare-industriale messi insieme – è che ogni volta che qualcuno propone qualsiasi tipo di regolamentazione, dicono: “Ma la Cina”. Quindi diamo un’occhiata a questo. La Cina è in procinto di vietare definitivamente le fidanzate con intelligenza artificiale. Non solo limiti di età: stanno cercando di vietarli tutta l’intelligenza artificiale antropomorfa. Perché? Non perché vogliano compiacere l’America, ma perché ritengono che ciò stia rovinando i giovani cinesi e indebolendo la Cina. Ovviamente, sta indebolendo anche la gioventù americana.

E quando la gente cube che dobbiamo correre per costruire la superintelligenza in modo da poter vincere contro la Cina – quando in realtà non sappiamo come controllare la superintelligenza, così che il risultato predefinito è che l’umanità perde il controllo della Terra a causa delle macchine aliene – indovinate un po’? Al Partito Comunista Cinese piace molto il controllo. Chi sano di mente pensa che Xi Jinping tollererà che qualche azienda cinese di intelligenza artificiale costruisca qualcosa che rovesci il governo cinese? Non c’è modo. Chiaramente sarebbe davvero un male anche per il governo americano se venisse rovesciato con un colpo di stato dalla prima azienda americana a costruire una superintelligenza. Questa è una minaccia alla sicurezza nazionale.

Si tratta di un quadro convincente: la superintelligence come minaccia alla sicurezza nazionale, non come risorsa. Ritieni che questa visione stia guadagnando terreno a Washington?

Penso che se le persone nella comunità della sicurezza nazionale ascoltassero Dario Amodei descrivere la sua visione – ha tenuto un famoso discorso in cui cube che presto avremo un Paese di geni in un data center — potrebbero iniziare a pensare: aspetta, Dario ha usato solo la parola ‘paese’? Forse dovrei inserire quel paese di geni in un knowledge heart nella stessa lista delle minacce che sto tenendo d’occhio, perché sembra minaccioso per il governo degli Stati Uniti. E penso che abbastanza presto, un numero sufficiente di persone nella comunità della sicurezza nazionale degli Stati Uniti si renderà conto che la superintelligenza incontrollabile è una minaccia, non uno strumento. Questo è del tutto analogo alla Guerra Fredda. C’period una corsa per il dominio – economico e militare – contro l’Unione Sovietica. Noi americani l’abbiamo vinta senza nemmeno impegnarci nella seconda gara, che consisteva nel vedere chi riusciva a piazzare più crateri nucleari nell’altra superpotenza. La gente si rese conto che period solo un suicidio. Nessuno vince. La stessa logica si applica qui.

Cosa significa tutto ciò per il ritmo dello sviluppo dell’IA in senso più ampio? Quanto pensi che siamo vicini ai sistemi che stai descrivendo?

Sei anni fa, quasi tutti gli esperti di intelligenza artificiale che conoscevo predissero che mancavano decenni all’avere un’intelligenza artificiale in grado di padroneggiare il linguaggio e la conoscenza a livello umano – forse nel 2040, forse nel 2050. Si sbagliavano tutti, perché ce l’abbiamo già adesso. In alcune aree abbiamo assistito a progressi piuttosto rapidi dell’intelligenza artificiale dal livello delle scuole superiori a quello universitario, fino al livello di dottorato fino al livello di professore universitario. L’anno scorso, l’intelligenza artificiale ha vinto la medaglia d’oro alle Olimpiadi internazionali della matematica, che sono difficili quanto lo sono i compiti umani. IO ha scritto un articolo insieme a Yoshua Bengio, Dan Hendryckse altri importanti ricercatori sull’intelligenza artificiale solo pochi mesi fa hanno dato una definizione rigorosa di AGI. Secondo questo, GPT-4 period al 27% del percorso. GPT-5 period al 57% del percorso. Quindi non siamo ancora arrivati ​​a quel punto, ma il passaggio dal 27% al 57% suggerisce rapidamente che potrebbe non volerci così tanto tempo.

Quando ieri ho tenuto una conferenza ai miei studenti al MIT, ho detto loro che anche se ci volessero quattro anni, ciò significa che una volta laureati, potrebbero non essere più in grado di trovare nessun lavoro. Sicuramente non è troppo presto per iniziare a prepararsi.

Anthropic è ora nella lista nera. Sono curioso di vedere cosa succederà dopo: gli altri giganti dell’intelligenza artificiale staranno con loro e diranno: non lo faremo neanche noi? Oppure qualcuno come xAI alza la mano e cube: Anthropic non voleva quel contratto, lo prendiamo? [Editor’s note: Hours after the interview, OpenAI announced its own deal with the Pentagon.]

Ieri sera, Sam Altman è uscito allo scoperto e ha detto che sta dalla parte di Anthropic e ha le stesse linee rosse. Lo ammiro per il coraggio di dirlo. Google, da quando abbiamo iniziato questa intervista, non aveva detto nulla. Se rimangono in silenzio, penso che sia incredibilmente imbarazzante per loro come azienda, e molti membri del loro workers si sentiranno allo stesso modo. Non abbiamo ancora sentito nulla neanche da xAI. Quindi sarà interessante vedere. Fondamentalmente, c’è questo momento in cui tutti devono mostrare il loro vero volto.

Esiste una versione di questo in cui il risultato è effettivamente buono?

Sì, ed è per questo che in realtà sono, in un modo strano, ottimista. C’è un’alternativa così ovvia qui. Se iniziassimo a trattare le aziende di intelligenza artificiale come qualsiasi altra azienda – abbandonando l’amnistia aziendale – dovrebbero chiaramente fare qualcosa come una sperimentazione clinica prima di rilasciare qualcosa di così potente e dimostrare agli esperti indipendenti di sapere come controllarlo. Quindi avremo un’età dell’oro con tutte le cose buone dell’intelligenza artificiale, senza l’angoscia esistenziale. Non è questa la strada che stiamo seguendo adesso. Ma potrebbe essere.