Gli agenti AI ora hanno più accesso e più connessioni ai sistemi aziendali rispetto a qualsiasi altro software program nell’ambiente. Ciò li rende una superficie di attacco più ampia di qualsiasi cosa i staff di sicurezza abbiano dovuto governare in precedenza, e il settore non dispone ancora di una struttura per questo. “Se questo vettore di attacco viene utilizzato, può provocare una violazione dei dati, o anche peggio”, ha affermato Spiros Xanthos, fondatore e CEO di Resolve AI, parlando a un recente evento VentureBeat AI Impression Sequence. I sistemi di sicurezza tradizionali si basano sulle interazioni umane. Non esiste ancora una struttura concordata per gli agenti IA che abbiano una personalità e possano lavorare in modo autonomo, ha osservato Jon Aniano, SVP delle applicazioni di prodotto e CRM presso Zendesk, nello stesso evento. L’intelligenza artificiale si sta muovendo più velocemente di quanto le aziende possano costruire guardrail e il Mannequin Context Protocol (MCP), pur diminuendo la complessità dell’integrazione, sta peggiorando il problema. “In questo momento è un problema irrisolto perché siamo nel selvaggio, selvaggio West”, ha detto Aniano. “Non abbiamo nemmeno un protocollo tecnico definito da agente advert agente su cui tutte le aziende concordano. Come riesci a bilanciare le aspettative degli utenti con ciò che mantiene sicura la tua piattaforma?”
MCP ancora “estremamente permissivo”
Le aziende si affidano sempre più ai server MCP perché semplificano l’integrazione tra agenti, strumenti e dati. Tuttavia, i server MCP tendono advert essere “estremamente permissivi”, ha affermato. Sono “in realtà probabilmente peggiori di un’API”, ha affermato, perché almeno le API hanno più controlli da imporre agli agenti. Gli agenti di oggi agiscono per conto degli esseri umani sulla base di permessi espliciti, stabilendo così la responsabilità umana. “Ma in futuro potresti avere decine, centinaia di agenti con la propria identità, il proprio accesso”, ha detto Xanthos. “Diventa una matrice molto complessa.” Anche se la sua startup sta sviluppando agenti IA autonomi per l’ingegneria dell’affidabilità del sito (SRE) e la gestione dei sistemi, ha riconosciuto che il settore “manca completamente della struttura” per gli agenti autonomi. “Dipende completamente da noi e da chiunque crei agenti per capire quali restrizioni dare loro”, ha detto. E i clienti devono potersi fidare di queste decisioni. Alcuni strumenti di sicurezza esistenti offrono un accesso capillare – Splunk, advert esempio, ha sviluppato un metodo per fornire accesso a determinati indici negli archivi dati sottostanti, ha osservato – ma la maggior parte sono più ampi e orientati all’uomo. “Stiamo cercando di risolvere questo problema con gli strumenti esistenti”, ha detto. “Ma non credo che siano sufficienti per l’period degli agenti.”
Chi è responsabile quando un’IA autentica erroneamente un utente?
In Zendesk e in altri fornitori di piattaforme di gestione delle relazioni con i clienti (CRM), l’intelligenza artificiale è coinvolta in una serie di interazioni con gli utenti, ha osservato Aniano, anzi, ora è a un “quantity e una scala che non avevamo contemplato come aziende e come società”.
Può diventare complicato quando l’intelligenza artificiale aiuta gli agenti umani; la pista di controllo può diventare un labirinto. “Quindi ora hai un essere umano che parla con un essere umano che parla con un’intelligenza artificiale”, ha osservato Aniano. “L’essere umano cube all’intelligenza artificiale di agire. Di chi è la colpa se l’azione è sbagliata?” Ciò diventa ancora più complicato quando nel combine ci sono “più pezzi di intelligenza artificiale e più esseri umani”. Per evitare che gli agenti escano dai binari, Zendesk tende a essere “molto severo” in termini di accesso e ambito; tuttavia, i clienti possono definire i propri guardrail in base alle proprie esigenze. Nella maggior parte dei casi, l’intelligenza artificiale può accedere alle fonti di conoscenza, ma non scrive codice o esegue comandi sui server, ha affermato Aniano. Se un’intelligenza artificiale chiama un’API, viene “progettata in modo dichiarativo” e sanzionata e le azioni vengono specificatamente richiamate. Tuttavia, la domanda dei clienti sta inondando questi scenari e “stiamo trattenendo i cancelli in questo momento”, ha affermato. L’industria deve sviluppare customary concreti per le interazioni degli agenti. “Stiamo entrando in un mondo in cui, con cose come MCP in grado di rilevare automaticamente gli strumenti, dovremo creare nuovi metodi di sicurezza per decidere con quali strumenti questi robotic possono interagire”, ha affermato Aniano. Quando si tratta di sicurezza, le aziende sono giustamente preoccupate quando l’intelligenza artificiale assume il controllo delle attività di autenticazione, come l’invio e l’elaborazione di password monouso (OTP), codici SMS o altri metodi di verifica in due passaggi, ha affermato. Cosa succede se un’IA autentica o identifica erroneamente qualcuno? Ciò può portare alla fuga di dati sensibili o aprire la porta agli aggressori. “C’è uno spettro ora, e la nice di quello spettro oggi è un essere umano”, ha detto Aniano. Tuttavia, “l’estremità di quello spettro domani potrebbe essere un agente specializzato progettato per produrre lo stesso tipo di sensazione viscerale o interazione a livello umano”. I clienti stessi rientrano in uno spettro di adozione e consolation. In alcune aziende – in particolare nel settore dei servizi finanziari o in altri ambienti altamente regolamentati – gli esseri umani devono ancora essere coinvolti nell’autenticazione, ha osservato Aniano. In altri casi, le aziende legacy o le vecchie guardie si fidano solo degli esseri umani per autenticare altri esseri umani. Ha notato che Zendesk sta sperimentando nuovi agenti AI che sono “un po’ più connessi ai sistemi” e sta lavorando con un gruppo selezionato di clienti attorno al guardrail.
In arrivo l’autorizzazione permanente
In un futuro, gli agenti potrebbero effettivamente essere più affidabili degli umani nello svolgimento di alcuni compiti e ricevere autorizzazioni “ben oltre” quelle che gli umani hanno oggi, ha detto Xanthos. Ma siamo ancora molto lontani da questo traguardo e, nella maggior parte dei casi, è la paura che qualcosa vada storto a frenare le imprese. “Che è una bella paura, vero? Non sto dicendo che sia una brutta cosa”, ha detto. Molte aziende semplicemente non si sentono ancora a proprio agio con un agente che esegue tutte le fasi di un flusso di lavoro o chiude completamente il ciclo da solo. Vogliono ancora la revisione umana. Resolve AI è sul punto di concedere agli agenti un’autorizzazione permanente in alcuni casi che sono “generalmente sicuri”, come nella codifica; da lì si passeranno a scenari più aperti che non sono poi così rischiosi, ha spiegato Xanthos. Ma ha riconosciuto che ci saranno sempre situazioni molto rischiose in cui gli errori dell’intelligenza artificiale potrebbero “mutare lo stato del sistema di produzione”, come ha affermato. Alla nice, però: “Non si può tornare indietro, ovviamente; la situazione si sta muovendo più velocemente di quanto forse hanno fatto anche i dispositivi mobili. Quindi la domanda è: cosa facciamo al riguardo?”
Cosa possono fare ora i staff di sicurezza
Entrambi gli oratori hanno sottolineato le misure provvisorie disponibili nell’ambito degli strumenti esistenti. Xanthos ha notato che alcuni strumenti, tra cui Splunk, offrono già controlli di accesso granulari a livello di indice che possono essere applicati agli agenti. Aniano ha descritto l’approccio di Zendesk come un punto di partenza pratico: chiamate API progettate in modo dichiarativo con azioni esplicitamente sanzionate, limiti rigorosi di accesso e ambito e revisione umana prima di espandere le autorizzazioni dell’agente.
Il principio di base, come ha affermato Aniano: “Controlliamo sempre quei cancelli e vediamo come possiamo ampliare l’apertura” – il che significa non concedere l’autorizzazione permanente finché non hai convalidato ogni espansione.
