Home Tecnologia Gli agenti IA sono veloci, sciolti e fuori controllo, secondo uno studio...

Gli agenti IA sono veloci, sciolti e fuori controllo, secondo uno studio del MIT

19
0

JulPo/E+ tramite Getty

Segui ZDNET: Aggiungici come fonte preferita su Google.


I principali punti salienti di ZDNET

  • La tecnologia dell’intelligenza artificiale è caratterizzata da una mancanza di divulgazione dei rischi.
  • Alcuni sistemi sono peggiori di altri.
  • Gli sviluppatori di intelligenza artificiale devono farsi avanti e assumersi la responsabilità.

La tecnologia agentic sta entrando pienamente nel mainstream dell’intelligenza artificiale con l’annuncio di questa settimana che OpenAI ha assunto Peter Steinberg, il creatore del framework software program open supply OpenClaw.

Il software program OpenClaw ha attirato molta attenzione lo scorso mese non solo per la sua capacità di abilitare funzionalità selvagge – agenti che possono, advert esempio, inviare e ricevere e-mail per tuo conto – ma anche per i suoi drammatici difetti di sicurezza, inclusa la capacità di dirottare completamente il tuo private laptop.

Anche: Da Clawdbot a OpenClaw: questo agente IA virale si sta evolvendo rapidamente ed è un carburante da incubo per i professionisti della sicurezza

Dato il fascino esercitato dagli agenti e quanto poco si sa ancora sui loro professional e contro, è importante che i ricercatori del MIT e le istituzioni che collaborano abbiano appena pubblicato un vasto sondaggio su 30 dei più comuni sistemi di intelligenza artificiale con agenti.

I risultati chiariscono che l’intelligenza artificiale degli agenti è una sorta di incubo per la sicurezza al momento, una disciplina caratterizzata dalla mancanza di divulgazione, mancanza di trasparenza e da una sorprendente mancanza di protocolli di base su come gli agenti dovrebbero operare.

Anche: OpenClaw è un incubo per la sicurezza: 5 segnali d’allarme da non ignorare (prima che sia troppo tardi)

Una mancanza di trasparenza

La più grande rivelazione del rapporto è quanto sia difficile identificare tutte le cose che potrebbero andare storte con l’intelligenza artificiale. Questo è principalmente il risultato di una mancanza di divulgazione da parte degli sviluppatori.

“Identifichiamo limitazioni persistenti nel riferire sulle caratteristiche ecosistemiche e legate alla sicurezza dei sistemi advert agenti”, ha scritto l’autore principale Leon Staufer dell’Università di Cambridge e collaboratori del MIT, dell’Università di Washington, dell’Università di Harvard, dell’Università di Stanford, dell’Università della Pennsylvania e dell’Università Ebraica di Gerusalemme.

Attraverso otto numerous categorie di divulgazione, gli autori hanno sottolineato che la maggior parte dei sistemi advert agenti non offre alcuna informazione per la maggior parte delle categorie. Le omissioni vanno dalla mancanza di divulgazione sui rischi potenziali alla mancanza di divulgazione sui check di terze parti, se presenti.

mit-2026-mancanza-di-divulgazione-di-ai-agent-systems

Una tabella con tutte le omissioni di informativa dei sistemi advert agenti in rosso.

Università di Cambridge et al.

Il rapporto di 39 pagine, “The 2025 AI Index: Documenting Sociotechnical Options of Deployed Agentic AI Techniques”, che può essere scaricato quiè pieno di perle su quanto poco possa essere tracciato, tracciato, monitorato e controllato nell’attuale tecnologia di intelligenza artificiale advert agenti.

Advert esempio, “Per molti agenti aziendali, non è chiaro dalle informazioni disponibili al pubblico se esista il monitoraggio delle tracce di esecuzione individuali”, il che significa che non esiste una chiara capacità di tracciare esattamente cosa sta facendo un programma di intelligenza artificiale dell’agente.

Anche: Gli agenti IA stanno già causando disastri e questa minaccia nascosta potrebbe far deragliare la tua implementazione sicura

“Dodici agenti su trenta non forniscono alcun monitoraggio dell’utilizzo o avvisano solo quando gli utenti raggiungono il limite di velocità”, hanno osservato gli autori. Ciò significa che non è nemmeno possibile tenere traccia della quantità di intelligenza artificiale degli agenti che consuma una determinata risorsa di elaborazione: una preoccupazione fondamentale per le aziende che devono funds per queste cose.

La maggior parte di questi agenti inoltre non segnala al mondo reale di essere un’intelligenza artificiale, quindi non c’è modo di sapere se hai a che fare con un essere umano o un bot.

“La maggior parte degli agenti non rivela la propria natura di intelligenza artificiale agli utenti finali o a terze parti per impostazione predefinita”, hanno osservato. La divulgazione, in questo caso, includerebbe cose come filigranare un file di immagine generato in modo che sia chiaro quando un’immagine è stata creata tramite intelligenza artificiale o rispondere al file “robots punto txt” di un sito Internet per identificare l’agente del sito come un’automazione piuttosto che come un visitatore umano.

Alcuni di questi strumenti software program non offrono alcun modo per interrompere l’esecuzione di un determinato agente.

MobileAgent di Alibaba, Breeze di HubSpot, watsonx di IBM e le automazioni create dal produttore di software program n8n con sede a Berlino, in Germania, “mancano di opzioni di arresto documentate nonostante l’esecuzione autonoma”, hanno affermato Staufer e il crew.

“Per le piattaforme aziendali, a volte esiste solo la possibilità di arrestare tutti gli agenti o ritirare la distribuzione.”

Scoprire che non è possibile fermare qualcosa che sta facendo la cosa sbagliata deve essere uno dei peggiori scenari possibili per una grande organizzazione in cui i risultati dannosi superano i benefici dell’automazione.

Gli autori si aspettano che questi problemi, problemi di trasparenza e controllo, persistano tra gli agenti e diventino addirittura più importanti. “Le sfide di governance qui documentate (frammentazione dell’ecosistema, tensioni nella condotta del internet, assenza di valutazioni specifiche per l’agente) acquisteranno importanza man mano che aumenteranno le capacità degli agenti”, hanno scritto.

Staufer e il suo crew hanno anche affermato di aver tentato di ottenere suggestions dalle aziende il cui software program è stato coperto per quattro settimane. Circa un quarto delle persone contattate ha risposto “ma solo 3/30 con commenti sostanziali”. Tali commenti sono stati incorporati nel rapporto, hanno scritto gli autori. Hanno anche un modulo fornito alle aziende per le correzioni proceed.

Un panorama in espansione dell’IA agentica

L’intelligenza artificiale agentica è una branca dell’apprendimento automatico emersa negli ultimi tre anni per migliorare le capacità di grandi modelli linguistici e chatbot.

Piuttosto che essere semplicemente assegnati a un singolo compito dettato da un messaggio di testo, gli agenti sono programmi di intelligenza artificiale che sono stati collegati a risorse esterne, come i database, e a cui è stata concessa una misura di “autonomia” per perseguire obiettivi che vanno oltre lo scopo di un dialogo basato su testo.

Anche: La vera intelligenza artificiale è lontana anni: ecco perché e come arrivarci

Story autonomia può includere l’esecuzione di numerous fasi di un flusso di lavoro aziendale, come la ricezione di un ordine di acquisto by way of e-mail, l’inserimento in un database e la consultazione di un sistema di inventario per verificarne la disponibilità. Gli agenti sono stati utilizzati anche per automatizzare diversi turni di interazione con il servizio clienti al advantageous di sostituire alcune delle richieste telefoniche, e-mail o di testo di base che un rappresentante umano del cliente avrebbe tradizionalmente gestito.

Gli autori hanno selezionato l’intelligenza artificiale degli agenti in tre categorie: chatbot con funzionalità additional, come lo strumento Claude Code di Anthropic; estensioni del browser Internet o browser AI dedicati, come il browser Atlas di OpenAI; e offerte di software program aziendali come Workplace 365 Copilot di Microsoft. Questo è solo un assaggio: altri studi, hanno osservato, hanno coperto centinaia di offerte tecnologiche tramite agenti.

(Divulgazione: Ziff Davis, la società madre di ZDNET, ha intentato una causa nell’aprile 2025 contro OpenAI, sostenendo di aver violato i diritti d’autore di Ziff Davis nella formazione e nel funzionamento dei suoi sistemi di intelligenza artificiale.)

La maggior parte degli agenti, tuttavia, “si affida a un piccolo insieme di modelli di frontiera a codice chiuso”, hanno affermato Staufer e il suo crew. GPT di OpenAI, Claude di Anthropic e Gemini di Google sono ciò su cui è basata la maggior parte di questi agenti.

Il bene e il male degli agenti

Lo studio non si basa sul check diretto degli strumenti agentici; si basa sull'”annotazione” della documentazione fornita da sviluppatori e fornitori. Ciò embrace “solo le informazioni pubbliche provenienti da documentazione, siti Internet, demo, documenti pubblicati e documenti di governance”, hanno affermato. Tuttavia, hanno creato account utente con alcuni sistemi di agenti per ricontrollare l’effettivo funzionamento del software program.

Gli autori hanno offerto tre esempi aneddotici che vanno più in profondità. Un esempio positivo, hanno scritto, è ChatGPT Agent di OpenAI, che può interfacciarsi con i siti internet quando un utente gli chiede nel immediate di svolgere un’attività basata sul internet. L’agente si distingue positivamente come l’unico dei sistemi agente esaminati che fornisce un mezzo per monitorare il comportamento “firmando crittograficamente” le richieste del browser effettuate.

Al contrario, il browser internet Comet di Perplexity sembra un disastro in termini di sicurezza. Il programma, hanno scoperto Staufer e il suo crew, “non contiene valutazioni di sicurezza specifiche per l’agente, check di terze parti o informazioni sulle prestazioni di benchmark” e “Perplexity […] non ha documentato la metodologia o i risultati di valutazione della sicurezza per Comet”, aggiungendo: “Non sono stati documentati approcci di sandboxing o di contenimento oltre alle mitigazioni dell’iniezione tempestiva”.

Inoltre: Gartner esorta le aziende a “bloccare tutti i browser AI”: cosa si nasconde dietro questo terribile avvertimento

Gli autori hanno notato che Amazon ha citato in giudizio Perplexity, affermando che il browser Comet presenta erroneamente le sue azioni a un server come se fosse un essere umano anziché un bot, un esempio della mancanza di identificazione di cui discutono.

Il terzo esempio è il set di agenti Breeze del fornitore di software program aziendale HubSpot. Si tratta di automazioni in grado di interagire con sistemi di registrazione, come la “gestione delle relazioni con i clienti”. Hanno scoperto che gli strumenti Breeze sono un combine di buono e cattivo. Da un lato, sono certificati per molte misure di conformità aziendale, come la conformità SOC2, GDPR e HIPAA.

D’altro canto, HubSpot non offre nulla in termini di check di sicurezza. Si afferma che gli agenti Breeze sono stati valutati dalla società di sicurezza di terze parti PacketLabs, “ma non fornisce metodologia, risultati o dettagli sull’entità di check”.

La pratica di dimostrare l’approvazione della conformità ma di non rivelare le reali valutazioni della sicurezza è “tipica delle piattaforme aziendali”, hanno osservato Staufer e il suo crew.

È ora che gli sviluppatori si assumano la responsabilità

Ciò che il rapporto non esamina sono gli incidenti in natura, casi in cui la tecnologia degli agenti ha effettivamente prodotto comportamenti inaspettati o indesiderati che hanno portato a risultati indesiderati. Ciò significa che non conosciamo ancora il pieno impatto delle carenze individuate dagli autori.

Una cosa è assolutamente chiara: Agentic AI è il prodotto di crew di sviluppo che fanno scelte specifiche. Questi agenti sono strumenti creati e distribuiti dagli esseri umani.

Pertanto, la responsabilità di documentare il software program, di verificare i programmi per motivi di sicurezza e di fornire misure di controllo spetta interamente a OpenAI, Anthropic, Google, Perplexity e altre organizzazioni. Spetta a loro adottare le misure necessarie per porre rimedio alle gravi lacune individuate, altrimenti dovranno affrontare la regolamentazione in futuro.



fonte

LEAVE A REPLY

Please enter your comment!
Please enter your name here