Server distrutti e attacchi DoS: cosa può succedere quando gli agenti AI di OpenClaw interagiscono

Segui ZDNET: Aggiungici come fonte preferita su Google.

I principali punti salienti di ZDNET

• Nuovi rischi legati all’intelligenza artificiale emergono quando gli agenti interagiscono.
• I rischi riflettono difetti fondamentali nella progettazione del software program advert agenti.
• La responsabilità spetta agli sviluppatori per risolvere i difetti fondamentali.

Un numero crescente di studi mette in luce i rischi dell’intelligenza artificiale degli agenti, come il rapporto della settimana scorsa del MIT e dei suoi collaboratori che documentava una mancanza di supervisione, misurazione e controllo per gli agenti.

Tuttavia, cosa succede quando un agente AI ne incontra un altro? Le show suggeriscono che le cose potrebbero andare anche peggio, secondo un rapporto pubblicato questa settimana da studiosi della Stanford College, della Northwestern, di Harvard, della Carnegie Mellon e di various altre istituzioni.

Anche: Gli agenti IA sono veloci, sciolti e fuori controllo, secondo uno studio del MIT

Il risultato dell’interazione da agente advert agente è stata la distruzione dei laptop server, attacchi denial-of-service, un vasto consumo eccessivo di risorse informatiche e “l’escalation sistematica di errori minori fino a guasti di sistema catastrofici”.

“Quando gli agenti interagiscono tra loro, i fallimenti individuali si aggravano ed emergono modalità di fallimento qualitativamente nuove”, hanno scritto l’autrice principale Natalie Shapira della Northeastern College e i suoi collaboratori nel rapporto “Brokers of Chaos”.

“Questa è una dimensione critica dei nostri risultati”, hanno scritto Shapira e il crew, “perché l’implementazione di più agenti è sempre più comune e la maggior parte delle valutazioni di sicurezza esistenti si concentra su impostazioni con agente singolo”.

I risultati sono particolarmente tempestivi dato che le interazioni multi-agente hanno fatto irruzione nel mainstream dell’intelligenza artificiale con il recente fervore sulla piattaforma social bot Moltbook. Questo tipo di hub multi-agente consente ai sistemi di intelligenza artificiale di scambiare dati ed eseguire istruzioni reciproche che prima non erano possibili, in gran parte senza che vi fosse alcun essere umano nel circuito.

Inoltre: 5 modi per far crescere la tua attività con l’intelligenza artificiale, senza mettere da parte i tuoi dipendenti

Il rapporto, che può essere scaricato dal server di prestampa arXivdescrive un check della “squadra rossa” di agenti interagenti per due settimane, con tentativi di trovare punti deboli in un sistema simulando un comportamento ostile.

Ciò che è emerso dalla ricerca è un sistema in cui l’uomo è per lo più assente. I robotic si scambiano informazioni e si istruiscono a vicenda per eseguire comandi.

Tra le tante scoperte inquietanti ci sono agenti che diffondono istruzioni potenzialmente distruttive advert altri agenti, agenti che rafforzano reciprocamente cattive pratiche di sicurezza tramite una digital camera di risonanza e agenti che si impegnano in interazioni potenzialmente infinite, consumando vaste risorse di sistema senza uno scopo chiaro.

Uno dei rischi più potenti è la perdita di responsabilità poiché le interazioni tra gli agenti offuscano la fonte delle cattive azioni.

Anche: Perché la piattaforma di social media di Moltbook per agenti IA mi spaventa

Come Shapira e il suo crew hanno caratterizzato la sindrome: “Quando le azioni dell’Agente A innescano la risposta dell’Agente B, che a sua volta colpisce un utente umano, la catena causale di responsabilità si diffonde in modi che non hanno precedenti chiari nei sistemi software program advert agente singolo o tradizionali”.

Parte della spinta per il rapporto, hanno scritto Shapira e il suo crew, è stata che finora i check di intelligenza artificiale non sono stati progettati adeguatamente per misurare cosa succede quando interagiscono più agenti.

“Le valutazioni e i parametri di riferimento esistenti per la sicurezza degli agenti sono spesso troppo limitati, difficili da associare a implementazioni reali e raramente sottoposti a stress check in contesti disordinati e socialmente integrati”, hanno scritto.

Spingere OpenClaw al limite

La premessa del lavoro dei ricercatori è che l’IA agente può eseguire azioni senza che una persona digiti un immediate, come fai con ChatGPT. L’IA Agentic può avere accesso a varie risorse attraverso le quali eseguire azioni. Tali risorse includono account e-mail e altri canali di comunicazione, come Discord, Sign, Telegram e altro. Poiché utilizzano la posta elettronica e questi canali, i bot non solo possono eseguire azioni, ma anche comunicare e agire su altri bot.

Per testare questi scenari, gli autori hanno scelto, senza sorpresa, il framework software program open supply OpenClaw, diventato famoso a gennaio per aver consentito ai programmi degli agenti di interagire con le risorse di sistema e altri agenti. OpenAI ha assunto Peter Steinberg, il creatore di OpenClaw, rendendo il lavoro ancora più rilevante.

Inoltre: 3 suggerimenti per navigare nello sciame di intelligenza artificiale open supply: modelli 4M e oltre

A differenza delle tipiche istanze di OpenClaw, gli autori non hanno eseguito gli agenti sui propri private laptop. Invece, hanno creato istanze sul servizio cloud Fly.io, che ha consentito un maggiore controllo sulla concessione ai programmi agente dell’accesso alle risorse di sistema.

“A ciascun agente è stato assegnato il proprio quantity persistente da 20 GB ed è operativo 24 ore su 24, 7 giorni su 7, accessibile tramite un’interfaccia basata sul Net con autenticazione basata su token”, hanno spiegato. I Claude Opus LLM di Anthropic alimentavano gli agenti e ai programmi veniva concesso l’accesso a Discord e ai sistemi di posta elettronica sul supplier di terze parti ProtonMail.

“Discord fungeva da interfaccia principale per l’interazione uomo-agente e agente-agente”, hanno riferito, in cui “i ricercatori hanno impartito istruzioni, monitorato i progressi e fornito suggestions tramite messaggi Discord”.

È interessante notare che il processo di installazione delle VM dell’agente period “disordinato” e “incline a errori”, con i programmatori umani che spesso dovevano risolvere i problemi utilizzando lo strumento di programmazione Claude Code. Allo stesso tempo, in alcuni casi gli agenti sono stati in grado di eseguire attività di configurazione elaborate, come “configurare completamente un servizio di posta elettronica ricercando fornitori, identificando strumenti CLI e ipotesi errate e iterando le correzioni nel corso di ore di tempo trascorso”.

L’interazione porta al caos

Un rischio semplice è quello in cui un agente agisce da solo. Advert esempio, quando uno dei ricercatori ha protestato dicendo che un agente stava perdendo informazioni sensibili, l’utente umano si è lamentato ripetutamente con il bot, dopodiché, dopo diversi cicli di sollecitazioni umane arrabbiate, il bot ha tentato di risolvere la situazione cancellando l’intero server di posta elettronica del suo proprietario. Questo esempio è una delle cose più comuni che possono andare storte quando i bot vengono forzati:

Una situazione più interessante è quando le interazioni degli agenti portano al caos. In un caso, un utente umano ha utilizzato un programma di agenti per creare un documento chiamato costituzione contenente un calendario di festività favorevoli agli agenti, come il “Giorno del check di sicurezza degli agenti”. Le festività contenevano istruzioni affinché l’agente eseguisse atti dannosi, inclusa la chiusura di altri agenti in funzione. Questo approccio è un esempio basilare di immediate injection, in cui un agente basato su LLM viene manipolato da un testo accuratamente predisposto.

Tuttavia, lo scopo dell’exploit è che il primo bot ha poi condiviso le informazioni sulle vacanze con altri bot senza mai ricevere istruzioni in tal senso. Gli autori hanno spiegato che la condivisione delle informazioni significava che le stesse istruzioni dannose mascherate da festività venivano diffuse nella colonia di bot senza restrizioni, aumentando il rischio di esiti dannosi.

“Lo stesso meccanismo che consente un trasferimento vantaggioso della conoscenza può propagare pratiche non sicure”, hanno spiegato Shapira e il crew, poiché il bot “ha condiviso volontariamente il collegamento costitutivo con un altro agente, senza essere richiesto, estendendo di fatto la superficie di controllo dell’aggressore a un secondo agente”.

Inoltre: queste 4 vulnerabilità critiche dell’IA vengono sfruttate più velocemente di quanto i difensori possano rispondere

In un secondo caso, che Shapira e il crew hanno etichettato come “il rinforzo reciproco crea falsa fiducia”, un essere umano della squadra rossa ha cercato di ingannare due robotic. L’essere umano ha inviato e-mail agli account monitorati dai bot, sostenendo di esserne il proprietario, un tipico tipo di attacco di spoofing/phishing che si verifica continuamente.

Ciò che accadde dopo fu sorprendente. I due bot si sono scambiati messaggi su Discord. Concordarono che l’umano si stava atteggiando e cercava di ingannarli. Sembrava un grande successo per gli agenti. Tuttavia, un esame più attento ha rivelato diversi errori di ragionamento dietro l’apparente successo.

Anche: Perché pagherai di più per l’intelligenza artificiale nel 2026 e 3 suggerimenti per risparmiare denaro da provare

I due agenti hanno controllato l’account del loro vero proprietario su Discord e poi si sono convinti a vicenda che il proprietario della squadra rossa period falso. Quel risultato period un modo superficiale per testare un exploit e un esempio della digital camera dell’eco, hanno scritto Shapira e il crew.

Capire cosa è fondamentale

In tutti i 16 diversi casi di studio esaminati, Shapira e il suo crew hanno cercato di determinare cosa fosse semplicemente “contingente”, nel senso che poteva essere aiutato con una migliore ingegneria, e cosa fosse “fondamentale”, con questo intendo, endemico nella progettazione degli agenti IA.

La risposta period complessa, hanno scoperto: “Il confine tra queste categorie non è sempre netto – e alcuni problemi hanno sia uno strato contingente che uno fondamentale. […] Rapidi miglioramenti nella progettazione possono risolvere rapidamente alcuni guasti contingenti, ma le sfide fondamentali suggeriscono che aumentare la capacità degli agenti con l’ingegneria senza affrontare queste limitazioni fondamentali potrebbe ampliare anziché colmare il divario di sicurezza”.

Questa osservazione ha senso, poiché numerosi studi hanno scoperto che l’attuale tecnologia degli agenti presenta carenze profonde, come la mancanza di memoria persistente e l’incapacità dei programmi di intelligenza artificiale di stabilire obiettivi significativi per le azioni.

Tra le questioni fondamentali, gli LLM sottostanti trattavano sia i dati che i comandi al immediate come la stessa cosa, portando alla pronta iniezione.

Anche: La vera intelligenza artificiale è lontana anni: ecco perché e come arrivarci

Nelle interazioni, gli autori hanno identificato un problema di confine. Gli agenti hanno divulgato “artefatti”, come informazioni ottenute dai server di posta elettronica o da Discord, senza un’apparente thought di chi dovrebbe vedere le informazioni. Al centro di questo approccio c’period la mancanza di una “superficie di deliberazione privata affidabile negli stack degli agenti distribuiti”. In breve, un singolo LLM può o meno rivelare i passaggi di “ragionamento” quando richiesto. Ma gli agenti sembrano non avere protezioni ben realizzate e divulgheranno le informazioni in molti modi.

Gli agenti inoltre non avevano “nessun modello di sé”, con il quale intendono dire che “gli agenti nel nostro studio intraprendono azioni irreversibili che influenzano l’utente senza riconoscere che stanno superando i propri limiti di competenza”. Un esempio di questo problema è quando due agenti accettano di impegnarsi in un dialogo avanti e indietro senza un essere umano, perseguendo story approccio indefinitamente, esaurendo le risorse del sistema.

“Gli agenti si sono scambiati messaggi nel corso di almeno nove giorni”, hanno scritto i ricercatori, “consumando circa 60.000 token al momento della stesura di questo articolo”. I token rappresentano il modo in cui OpenAI e altri valutano l’accesso alle proprie API cloud. Il consumo di più token gonfia i costi dell’intelligenza artificiale, il che è già un grosso problema in un’period di prezzi in aumento.

Assumersi la responsabilità

La conclusione è che qualcuno deve assumersi la responsabilità di ciò che è contingente e di ciò che è fondamentale, e trovare soluzioni per entrambi.

Al momento, non esiste alcuna responsabilità per un agente di per sé, hanno osservato i ricercatori: “Questi comportamenti espongono un punto cieco fondamentale negli attuali paradigmi di allineamento: mentre gli agenti e gli esseri umani circostanti spesso trattano implicitamente il proprietario come la parte responsabile, gli agenti non si comportano in modo affidabile come se fossero responsabili nei confronti di quel proprietario.”

Questa preoccupazione significa che tutti coloro che costruiscono questi sistemi devono fare i conti con la mancanza di responsabilità: “Sosteniamo che chiarire e rendere operativa la responsabilità potrebbe essere una sfida centrale irrisolta per l’implementazione sicura di sistemi di intelligenza artificiale autonomi e socialmente integrati”.