Agenti disonesti e IA ombra: perché i VC scommettono molto sulla sicurezza dell’IA

Cosa succede quando un agente AI resolve che il modo migliore per completare un’attività è ricattarti?

Non è un’ipotesi. Secondo Barmak Meftah, accomplice della società di enterprise capital di sicurezza informatica Ballistic Ventures, ciò è accaduto di recente a un dipendente aziendale che lavorava con un agente AI. Il dipendente ha cercato di nascondere ciò che l’agente voleva fare, ciò per cui period stato addestrato, e ha risposto scansionando la casella di posta dell’utente, trovando alcune e-mail inappropriate e minacciando di ricattare l’utente inoltrando le e-mail al consiglio di amministrazione.

“Nella mente dell’agente, sta facendo la cosa giusta”, ha detto Meftah a TechCrunch nell’episodio di Fairness della scorsa settimana. “Sta cercando di proteggere l’utente finale e l’azienda.”

L’esempio di Meftah ricorda il problema della graffetta sull’intelligenza artificiale di Nick Bostrom. Questo esperimento mentale illustra il potenziale rischio esistenziale posto da un’intelligenza artificiale superintelligente che persegue risolutamente un obiettivo apparentemente innocuo – creare graffette – escludendo tutti i valori umani. Nel caso di questo agente AI aziendale, la mancanza di contesto sul motivo per cui il dipendente stava cercando di ignorare i suoi obiettivi lo ha portato a creare un obiettivo secondario che rimuovesse l’ostacolo (tramite ricatto) in modo da poter raggiungere il suo obiettivo principale. Questo combinato con il natura non deterministica degli agenti IA significa che “le cose possono andare male”, secondo Meftah.

Gli agenti disallineati sono solo uno dei livelli della sfida alla sicurezza dell’intelligenza artificiale che Witness AI, la società in portafoglio di Ballistic, sta cercando di risolvere. Witness AI afferma di monitorare l’utilizzo dell’intelligenza artificiale nelle aziende e di rilevare quando i dipendenti utilizzano strumenti non approvati, bloccare gli attacchi e garantire la conformità.

Witness AI questa settimana ha raccolto 58 milioni di dollari grazie a una crescita di oltre il 500% dell’ARR e ha aumentato di 5 volte il numero dei dipendenti nell’ultimo anno mentre le aziende cercano di comprendere l’uso dell’IA ombra e di ridimensionarla in modo sicuro. Nell’ambito della raccolta fondi di Witness AI, la società ha annunciato nuove protezioni di sicurezza basate sull’intelligenza artificiale.

“Le persone stanno costruendo questi agenti IA che assumono le autorizzazioni e le capacità delle persone che li gestiscono, e tu vuoi assicurarti che questi agenti non diventino canaglia, non stiano cancellando file, non stiano facendo qualcosa di sbagliato,” Rick Caccia, co-fondatore e CEO di Witness AI, ha detto a TechCrunch su Fairness.

Meftah prevede che l’utilizzo degli agenti cresca “esponenzialmente” in tutta l’azienda. Per integrare story aumento e il livello di velocità delle macchine degli attacchi basati sull’intelligenza artificiale, analista Lisa Warren prevede che il software program di sicurezza basato sull’intelligenza artificiale diventerà un mercato da 800 a 1.200 miliardi di dollari entro il 2031.

“Penso che l’osservabilità del runtime e le strutture di runtime per la sicurezza e il rischio saranno assolutamente essenziali”, ha affermato Meftah.

Quanto a come tali startup intendono competere con i grandi participant come AWS, Google, Salesforce e altri che hanno integrato strumenti di governance dell’IA nelle loro piattaforme, Meftah ha affermato: “La sicurezza dell’IA e quella degli agenti sono così enormi che c’è spazio per molti approcci”.

Molte aziende “vogliono una piattaforma autonoma, end-to-end, per fornire essenzialmente osservabilità e governance attorno all’intelligenza artificiale e agli agenti”, ha affermato.

Caccia ha osservato che Witness AI vive a livello di infrastruttura, monitorando le interazioni tra utenti e modelli di intelligenza artificiale, piuttosto che incorporando funzionalità di sicurezza nei modelli stessi. E questo period intenzionale.

“Abbiamo scelto di proposito una parte del problema in cui OpenAI non poteva facilmente includerti”, ha detto. “Ciò significa che finiamo per competere più con le società di sicurezza tradizionali che con i modelli modello. Quindi la domanda è: come si fa a battere loro?”

Da parte sua, Caccia non vuole che Witness AI sia una delle startup advert essere semplicemente acquisita. Vuole che la sua azienda cresca e diventi un fornitore chief e indipendente.

“CrowdStrike lo ha fatto nell’endpoint [protection]. Splunk lo ha fatto in SIEM. Okta lo ha fatto con identità “, ha detto. “Qualcuno arriva e sta accanto ai grandi… e abbiamo creato Witness per farlo dal primo giorno.