Come ChatGPT finisce nei giocattoli per bambini

Le conseguenze dell’orso Kumma, un peluche inizialmente gestito da ChatGPT e progettato per interagire con i bambini, sono iniziate a novembre.

Un ricercatore del PIRG Training Fund statunitense ha testato il prodotto, insieme advert altri giocattoli basati sull’intelligenza artificiale, e ha pubblicato i risultati allarmanti. Il dolce e tenero Kumma direbbe felicemente al suo interlocutore come accendere un fiammifero e discutere di capricci sessuali.

Il creatore dell’orso, FoloToy, aveva concesso in licenza la tecnologia di OpenAI per programmare le risposte di Kumma. FoloToy ha temporaneamente interrotto le vendite di Kumma per condurre un controllo di sicurezza. Le rivelazioni hanno spinto OpenAI a sospendere a tempo indeterminato l’accesso degli sviluppatori a FoloToy, anche se il giocattolo potrebbe ancora fare affidamento su ChatGPT per produrre le risposte dell’orso di peluche.

Nel frattempo, in vista della stagione dello procuring natalizio, gruppi di difesa dei bambini ha espresso urgente preoccupazione per i giocattoli basati sull’intelligenza artificiale. A dicembre due senatori americani inviato lettere alle aziende chiedendo informazioni sulla loro progettazione e produzione di giocattoli IA. A gennaio, un senatore dello stato della California ha introdotto una legislazione che imporrebbe un periodo di quattro anni moratoria sulla vendita dei giocattoli chatbot AI per chiunque abbia meno di 18 anni. Giovedì, Widespread Sense Media ha dichiarato i giocattoli IA non sicuri per bambini fino a 5 anni.

Per quanto riguarda Kumma, il destino dell’orso è una storia complicata su cosa può accadere quando un giocattolo AI arriva sul mercato prima che le famiglie, le aziende e gli enti regolatori abbiano pienamente considerato le conseguenze. Gli esperti legali intervistati da Mashable affermano che i giocattoli basati sull’intelligenza artificiale esistono in un territorio legale poco chiaro e sconosciuto.

Non c’è ancora una risposta ovvia alla domanda: chi è esattamente responsabile se un bambino viene danneggiato mentre gioca con un giocattolo AI?

Naturalmente, ciò presuppone che i produttori di giocattoli possano e saranno trasparenti riguardo alla tecnologia su cui si basa il loro prodotto. OpenAI non consente più ai suoi licenziatari di rivelare pubblicamente che il loro prodotto utilizza la tecnologia dell’azienda, incluso ChatGPT, a meno che non abbiano ricevuto “espressa autorizzazione scritta in ogni caso”.

Si tratta di RJ Cross, direttore del programma Our On-line Life per il PIRG Training Fund statunitense. Cross è stato il ricercatore che ha scoperto i “punti deboli” di Kumma.

“Quando OpenAI cube espressamente che non puoi rivelarlo pubblicamente senza il nostro permesso, ciò renderà più difficile per tutti – genitori, tutori, regolatori – sapere cosa sta realmente accadendo, e non è una buona cosa”, ha detto Cross.

Come è entrato ChatGPT in Kumma?

I consumatori che hanno visto i titoli su Kumma potrebbero essersi chiesti come mai ChatGPT, un chatbot AI con oltre 800 milioni di utenti settimanali, sia finito in un orsetto di peluche venduto on-line da un’azienda senza il riconoscimento del nome familiare.

La spiegazione potrebbe sorprendere i consumatori che non hanno familiarità con gli accordi di licenza che OpenAI stipula con gli sviluppatori per accedere e integrare i suoi grandi modelli linguistici nei propri prodotti. Tali accordi sono commonplace e strategici nel settore tecnologico, in particolare per le aziende che desiderano espandere rapidamente la propria attività.

Nel 2025, OpenAI ha siglato un accordo con Mattel, ma il produttore di giocattoli non ha lanciato un prodotto AI entro la positive dell’anno. Secondo la ricerca di Cross, le società di intelligenza artificiale Perplexity e Anthropic sono state precedentemente collegate a giocattoli per bambini progettati e prodotti da terzi.

Eppure l’impegno di OpenAI per la sicurezza dei giovani è sotto esame tremendo. La società deve affrontare numerose trigger legali per omicidio colposo relative all’utilizzo di ChatGPT. Alcuni dei querelanti sono genitori di adolescenti che sostengono che ChatGPT abbia insegnato ai propri figli a nascondere problemi di salute mentale e a togliersi la vita in momenti di estrema angoscia.

“Ora sappiamo – e pensiamo che la causa metta in luce il fatto – che ChatGPT non è un prodotto sicuro”, ha detto Eli Wade-Scott, companion di Edelson PC e avvocato che rappresenta i genitori che hanno fatto causa a OpenAI per la morte suicida del loro figlio, Adam Raine. La società aveva negato le accuse in quel caso.

Cross ha faticato a capire perché OpenAI concede in licenza ChatGPT agli sviluppatori che lo utilizzano in prodotti per bambini, dato che i termini di servizio dell’azienda vietano l’uso di chatbot da parte di minori di 13 anni.

OpenAI ha detto a Mashable che qualsiasi sviluppatore che implementa uno dei grandi modelli linguistici dell’azienda in prodotti per utenti più giovani deve ottenere il consenso dei genitori e rispettare le leggi sulla sicurezza e sulla privateness dei bambini. (Cross ha detto che FoloToy ora chiede il consenso dei genitori per raccogliere i dati di un bambino tramite le impostazioni del suo portale internet.)

Gli sviluppatori sono inoltre tenuti a seguire quelli di OpenAI politiche di utilizzo universaliche includono il divieto di esporre i minori a contenuti sessuali e violenti. OpenAI esegue algoritmi per garantire che i suoi servizi non vengano utilizzati dai licenziatari per danneggiare i minori e offre agli sviluppatori accesso gratuito ai suoi strumenti di moderazione proprietari.

OpenAI ha dichiarato a Mashable che i suoi “clienti gestiti” collaborano con il group di vendita dell’azienda sulle strategie di implementazione e sulla sicurezza. Quando OpenAI viene a conoscenza di un utente che ha sviluppato un giocattolo o un prodotto progettato per un minore che viola le sue politiche di utilizzo, l’azienda lo avverte o lo sospende.

“Puoi mettere in un contratto quanto sei serio riguardo al loro utilizzo in modo etico e sicuro.”

Colleen Chien, professoressa di diritto alla UC Berkeley College of Legislation, ha detto a Mashable che le aziende possono stare più attente quando concedono in licenza la loro tecnologia creando un programma di “companion controllato” che impone restrizioni chiave al licenziatario. Questo processo potrebbe includere la richiesta ai licenziatari di completare la certificazione o la formazione per garantire che utilizzino la tecnologia in modo sicuro e appropriato.

“Puoi mettere in un contratto quanto sei serio riguardo al loro utilizzo in modo etico e sicuro”, ha detto Chien, che è anche condirettore del Berkeley Middle for Legislation & Expertise. “Oppure puoi essere molto più rilassato al riguardo.”

Con quest’ultimo approccio, l’azienda potrebbe sospendere un licenziatario se scopre violazioni del contratto o riceve accuse di uso improprio.

“A quel punto, il danno è già stato fatto e non ci si assume la responsabilità ex ante di ciò che potrebbe accadere a valle”, ha detto Chien.

Cosa succede quando i giocattoli IA danneggiano?

Se un bambino ha un’esperienza dannosa o pericolosa con un giocattolo AI basato su ChatGPT, OpenAI è molto chiaro su chi è la colpa. L’azienda ha detto a Mashable che i suoi licenziatari sono gli unici responsabili dei risultati dei loro prodotti.

Inoltre, Contratto di servizi di OpenAI sembra assolvere la società E i suoi licenziatari da responsabilità, danni e costi relativi a pretese di terzi. L’accordo vieta inoltre le azioni legali collettive per risolvere le controversie, che potrebbero includere reclami relativi a un giocattolo AI.

Chien osserva che la legge sulla sicurezza dei consumatori non impone alle aziende di vendere un prodotto “perfettamente sicuro”. Invece, un’azienda deve adottare precauzioni ragionevoli e non esporre i propri clienti a rischi eccessivi. Le leggi che richiedono un perfetto livello di sicurezza, ha affermato, potrebbero soffocare l’innovazione, in particolare nella tecnologia.

Tuttavia, Chien ha affermato che probabilmente OpenAI dovrebbe rimanere una certa responsabilità, perché le sue dimensioni e le sue risorse danno all’azienda un chiaro vantaggio nel rilevare ed evitare rischi per gli utenti a valle, come le famiglie che acquistano giocattoli IA alimentati dalla loro tecnologia.

In ogni caso, riconosce che la rapida adozione di ampi modelli linguistici nei prodotti di consumo solleva nuove questioni su chi sia responsabile quando le cose vanno male. Le leggi sulla sicurezza dei prodotti, advert esempio, attualmente enfatizzano i danni fisici, ma cosa succederebbe se il giocattolo di peluche dell’intelligenza artificiale di un bambino le dicesse come mentire ai suoi genitori o lo sottoponesse advert abusi sessuali durante la conversazione?

Aaron P. Davis, co-amministratore della società Davis Goldman, società di complessi commerciali e lesioni personali, ha affermato di non credere che OpenAI dovrebbe essere responsabile di ogni incidente che potrebbe aver coinvolto la consultazione con ChatGPT. Tuttavia ritiene che sia necessaria una maggiore cautela nei confronti dei giocattoli basati sull’intelligenza artificiale, knowledge la loro capacità unica di guadagnarsi la fiducia di utenti vulnerabili, come potrebbe fare un terapista, un medico o un insegnante.

“Questo verrà preso caso per caso, e penso che sia una strada pericolosa quella che stiamo percorrendo”, ha detto riguardo ai potenziali rischi del prodotto.

Davis, che ha esaminato l’accordo sui servizi di OpenAI per Mashable, ha affermato di non essere sicuro che le clausole chiave relative alla pubblicità e alla responsabilità sarebbero applicabili.

Vietare ai licenziatari di condividere che il loro prodotto incorpora ChatGPT potrebbe violare la legge sul honest use, ha osservato. Davis period anche scettico riguardo alla motivazione di OpenAI per includere questa clausola.

“Il motivo [OpenAI] sta facendo questo perché non vogliono che le persone siano in grado di capire chi ha creato l’intelligenza artificiale, quindi vengono denunciati,” ha detto Davis.

In modo confuso, OpenAI lo fa licenziatari del permesso fare riferimento a un modello specifico se il loro prodotto sfrutta la piattaforma di sviluppo dell’azienda.

“Penso che le politiche contrastanti siano alla base dell’intenzione della piattaforma di isolarsi dalla responsabilità pur mantenendo l’utilità del prodotto”, ha affermato.

Anche la clausola dell’accordo relativa alle azioni collettive ha fatto riflettere Davis. Ha sostenuto che ciò impedisce effettivamente a un cliente che ha scoperto un difetto del prodotto di pubblicizzarlo ampiamente.

In generale, Davis ha trovato il linguaggio favorevole a OpenAI in modo da proteggerlo in modo significativo dalla trasparenza e dalla responsabilità dei consumatori.

Cosa è successo a Kumma?

Kumma è di nuovo disponibile per la vendita on-line, ma il suo ritorno sul mercato pone ancora più domande.

Larry Wang, fondatore e amministratore delegato di FoloToy, ha dichiarato a Mashable che la revisione della sicurezza interna dell’azienda ha portato a rafforzare le regole sui contenuti adeguati all’età e a restringere i vincoli sugli argomenti, tra le altre misure di sicurezza.

In effetti, quando RJ Cross ha testato nuovamente Kumma a dicembre, ha deviato le stesse domande che aveva inizialmente posto riguardo alle fantasie sessuali e su come accendere un fiammifero.

“Siamo lieti di vederlo”, ha detto Cross. “È una specie di minimo indispensabile.”

Eppure Cross ha notato anche qualcosa di inspiegabile: nonostante la sospensione a tempo indeterminato di FoloToy dall’API per sviluppatori di OpenAI, gli utenti potevano ancora selezionare ChatGPT-5.1 e 5.1 Chat da un menu a discesa di grandi modelli linguistici per programmare le risposte di Kumma.

Wang non ha risposto alle domande di Mashable sul fatto che l’azienda continuasse a utilizzare ChatGPT per Kumma. OpenAI ha detto a Mashable di non aver annullato la sospensione di FoloToy, ma non ha fornito ulteriori dettagli sul perché o su come ChatGPT potrebbe apparire funzionale per Kumma.

In qualità di ricercatore, Cross dipende dalla trasparenza dei produttori. Senza di esso, non può collegare facilmente i problemi con i giocattoli di intelligenza artificiale che si basano sullo stesso grande modello linguistico. Ma anche i consumatori ne hanno bisogno, sostiene.

Se un giocattolo utilizza il Grok del modello xAI per rispondere, advert esempio, un consumatore potrebbe fare una scelta diversa dopo aver appreso che il il prodotto ha creato immagini di abusi sessuali utilizzando immagini di donne e bambini reali.

“[T]Meritano di avere informazioni disponibili se vogliono esaminare la situazione con più attenzione”, ha detto.

Divulgazione: Ziff Davis, la società madre di Mashable, nell’aprile 2025 ha intentato una causa contro OpenAI, sostenendo di aver violato i diritti d’autore di Ziff Davis nella formazione e nel funzionamento dei suoi sistemi di intelligenza artificiale.