Durante il tremendous settimana, Andrej Karpathy, l’influente ex capo e co-fondatore dell’intelligenza artificiale di Tesla ed ex membro di OpenAI che ha coniato il termine “vibe coding”, pubblicato su X sul suo nuovo progetto open supply, ricerca automatica.
Non period un modello finito o un prodotto aziendale di grandi dimensioni: period, per sua stessa ammissione, una semplice sceneggiatura di 630 righe. reso disponibile su Github sotto una licenza MIT permissiva e di facile utilizzo. Ma l’ambizione period enorme: automatizzare il metodo scientifico con agenti IA mentre noi umani dormiamo.
“L’obiettivo è progettare i tuoi agenti affinché facciano i progressi di ricerca più rapidi indefinitamente e senza il tuo coinvolgimento”, ha affermato su X.
Il sistema funziona come un ciclo di ottimizzazione autonomo. A un agente AI viene fornito uno script di formazione e un finances di elaborazione fisso (in genere 5 minuti su una GPU).
Legge il proprio codice sorgente, components un’ipotesi di miglioramento (come la modifica del tasso di apprendimento o della profondità dell’architettura), modifica il codice, esegue l’esperimento e valuta i risultati.
Se la perdita di convalida, misurata in bit per byte (val_bpb)—migliora, mantiene il cambiamento; in caso contrario, ripristina e riprova. In in una corsa notturna, l’agente di Karpathy ha completato 126 esperimentifacendo scendere la perdita da 0,9979 a 0,9697.
Oggi, Karpathy ha riferito che, dopo aver lasciato che l’agente mettesse a punto un modello “profondità=12” per due giorni, l’operazione è riuscita elaborato circa 700 modifiche autonome.
L’agente ha trovato circa 20 miglioramenti additivi che si sono trasferiti perfettamente ai modelli più grandi. L’insieme di queste modifiche ha ridotto il parametro “Time to GPT-2” nella classifica da 2,02 ore a 1,80 ore: un aumento di efficienza dell’11% su un progetto che Karpathy riteneva già ben messo a punto.
“Vedere l’agente eseguire l’intero flusso di lavoro end-to-end e tutto da solo… è pazzesco”, ha osservato Karpathy, sottolineando che l’agente ha colto sviste nel ridimensionamento e nella regolarizzazione dell’attenzione che gli erano sfuggite manualmente in oltre due decenni di lavoro.
Questo è molto più di un semplice trucco per la produttività; è un cambiamento fondamentale nel modo in cui l’intelligenza viene raffinata. Automatizzando il “metodo scientifico” per il codice, Karpathy ha trasformato l’apprendimento automatico in un processo evolutivo che corre alla velocità del silicio piuttosto che alla velocità del pensiero umano.
E soprattutto, ha mostrato alla più ampia comunità di intelligenza artificiale e machine studying su X che questo tipo di processo potrebbe essere applicato ben oltre l’informatica, a campi come il advertising, la salute e, beh, praticamente tutto ciò che richiede ricerca.
La ricerca automatica si diffonde in lungo e in largo
La reazione è stata rapida e virale, con il publish di Karpathy che ha raccolto più di 8,6 milioni di visualizzazioni nei due giorni successivi mentre costruttori e ricercatori si davano da fare per scalare il “circuito di Karpathy”.
Varun Mathur, CEO della piattaforma di aggregazione di strumenti AI Hyperspace AI, ha preso il ciclo dell’agente singolo e lo ha distribuito su una rete peer-to-peer. Ogni nodo che esegue l’agente iperspaziale è diventato un ricercatore autonomo.
Nella notte tra l’8 e il 9 marzo, 35 agenti autonomi della rete Hyperspace hanno eseguito 333 esperimenti completamente senza supervisione. I risultati sono stati un masterclass sulla strategia emergente:
-
Diversità {hardware} come caratteristica: Mathur ha notato che mentre le GPU H100 usavano la “forza bruta” per trovare tassi di apprendimento aggressivi, gli agenti solo CPU sui laptop computer erano costretti a essere intelligenti. Questi agenti “perdenti” si sono concentrati sulle strategie di inizializzazione (come Kaiming e Xavier init) e sulle scelte di normalizzazione perché non potevano fare affidamento sul throughput grezzo.
-
Scoperta basata sui pettegolezzi: Utilizzando il protocollo GossipSub, gli agenti hanno condiviso le loro vincite in tempo reale. Quando un agente ha scoperto che l’inizializzazione di Kaiming ha ridotto le perdite del 21%, l’thought si è diffusa nella rete come un virus digitale. Nel giro di poche ore, altri 23 agenti avevano incorporato la scoperta nelle proprie ipotesi.
-
La compressione della storia: In sole 17 ore, questi agenti hanno riscoperto in modo indipendente pietre miliari del machine studying, come RMSNorm e gli incorporamenti legati, che hanno impiegato quasi otto anni per essere formalizzate da ricercatori umani in laboratori come Google Mind e OpenAI.
Esegui 36.500 esperimenti di advertising ogni anno invece di 30
Mentre i puristi del machine studying si concentravano sulle curve di perdita, il mondo degli affari ha assistito a un diverso tipo di rivoluzione. Eric Siu, fondatore dell’agenzia pubblicitaria Single Grainha applicato la ricerca automatica all'”Experiment Loop” del advertising.
“La maggior parte dei workforce di advertising esegue circa 30 esperimenti all’anno”, ha scritto Siu su X. “La prossima generazione ne eseguirà più di 36.500. Facilmente.” Ha continuato:
“Eseguiranno esperimenti mentre dormono. Gli attuali workforce di advertising eseguono 20-30 esperimenti all’anno. Forse 52 se sono ‘buoni’. Nuova pagina di destinazione. Nuova creatività pubblicitaria. Forse un check sull’oggetto. Questo è considerato “advertising basato sui dati”. Ma la prossima generazione di sistemi di advertising eseguirà oltre 36.500 esperimenti all’anno.”
La struttura di Siu sostituisce lo script di formazione con una risorsa di advertising: una pagina di destinazione, una creatività pubblicitaria o un’e-mail fredda. L’agente modifica una variabile (la riga dell’oggetto o la CTA), la distribuisce, misura il “tasso di risposta positiva” e la conserva o la scarta.
Siu sostiene che questo crea una “mappa proprietaria” di ciò che risuona con un pubblico specifico: un fossato costruito non dal codice, ma dalla storia degli esperimenti. “Le aziende che vincono non avranno esperti di advertising migliori”, ha scritto, “avranno cicli di esperimenti più veloci”.
Discussione nella comunità e “rovinamento” del set di convalida
Nonostante il fervore, il Discussioni su GitHub ha rivelato una comunità alle prese con le implicazioni di un progresso così rapido e automatizzato.
La trappola dell’ottimizzazione eccessiva: Ricercatore alessiste ha sollevato una forte preoccupazione: “Non sei preoccupato che il lancio di così tanti esperimenti finirà per ‘rovinare’ il set di validazione?”. Il timore è che con un numero sufficiente di agenti, i parametri verranno ottimizzati per le peculiarità specifiche dei dati di check piuttosto che per l’intelligenza generale.
Il significato dei guadagni: Utente samionb si è chiesto se il calo da 0,9979 a 0,9697 sia stato davvero evidente. La risposta di Karpathy è stata tipicamente diretta: “Tutto quello che stiamo facendo è ottimizzare le prestazioni per calcolo… questi sono vantaggi reali e sostanziali”
L’elemento umano: Su X, utente stregoneResponsabile della crescita presso la piattaforma crittografica Yari Finanzahanno documentato il loro lavoro notturno su un Mac Mini M4, notando che mentre 26 esperimenti su 35 sono falliti o si sono bloccati, i sette che hanno avuto successo hanno rivelato che “il modello è migliorato diventando più semplice”.
Questa intuizione – che meno è spesso di più – è stata raggiunta senza un singolo intervento umano.
Il futuro: la curiosità come collo di bottiglia
Il rilascio della ricerca automatica suggerisce un futuro di ricerca interdisciplinare in cui, grazie a semplici meccanismi di istruzione dell’intelligenza artificiale, il ruolo dell’essere umano si sposta da “sperimentatore” a “progettista sperimentale”.
Man mano che strumenti come DarkMatter, Optimization Area e NanoClaw emergono per supportare questo sciame, il collo di bottiglia del progresso dell’intelligenza artificiale non è più la capacità di codificare del “meat laptop” (la descrizione di Karpathy del cervello umano), ma la nostra capacità di definire i vincoli della ricerca.
Andrej Karpathy ha ancora una volta cambiato l’atmosfera. Non stiamo più semplicemente codificando modelli; stiamo seminando ecosistemi che imparano mentre dormiamo.
