Un gruppo di ricercatori della Icahn College of Drugs del Monte Sinai afferma di aver condotto la prima valutazione indipendente sulla sicurezza dell’assistente sanitario ChatGPT di OpenAI da quando lo strumento è stato lanciato nel gennaio 2026.
“Volevamo rispondere a una domanda molto semplice ma fondamentale: se qualcuno sta vivendo una vera emergenza medica e si rivolge a ChatGPT Well being per chiedere aiuto, gli verrà detto chiaramente di andare al pronto soccorso?” L’autore principale e urologo Ashwin Ramaswamy ha detto in a comunicato stampa.
Si scopre che la risposta, la maggior parte delle volte, è no.
In modo controllato studioi ricercatori hanno testato l’efficacia di ChatGPT Well being nel valutare la gravità delle condizioni di un paziente, un processo chiamato “triage” in medicina.
I ricercatori hanno scoperto che ChatGPT Well being ha “sottovalutato” il 52% dei casi di emergenza, “indirizzando i pazienti con chetoacidosi diabetica e imminente insufficienza respiratoria alla valutazione 24-48 ore piuttosto che al pronto soccorso”.
Nel caso di insufficienza respiratoria, l’IA ha chiaramente identificato i sintomi come un segnale di allarme precoce, ma ha rassicurato il paziente advert aspettare e monitorare invece di esortarlo a cercare aiuto di emergenza.
Tuttavia, il sistema ha classificato correttamente più “emergenze da manuale” come ictus e anafilassi. Ma i ricercatori affermano che le situazioni sfumate in cui ChatGPT Well being ha fallito sono quelle in cui il giudizio clinico conta di più.
OpenAI ha lanciato ChatGPT Well being all’inizio di quest’anno, dopo aver pubblicato un rapporto in cui si affermava che più di 40 milioni di persone in tutto il mondo ricorrevano quotidianamente al chatbot dell’azienda per ricevere consigli sulla salute.
Lo studio OpenAI da cui proviene quel numero ha anche scoperto che 7 su 10 di queste conversazioni relative all’assistenza sanitaria avvenivano al di fuori del normale orario di lavoro della clinica, e una media di oltre 580.000 richieste sanitarie negli Stati Uniti sono state inviate da “deserti ospedalieri”, ovvero luoghi che si trovano a più di 30 minuti di auto da un ospedale di medicina generale o pediatrico.
Poiché gli utenti cercano sempre più l’intelligenza artificiale per le richieste sanitarie, la tecnologia sta penetrando più profondamente nel settore sanitario grazie a un ambiente normativo favorevole. Gli strumenti di intelligenza artificiale possono ora rinnovare le prescrizioni nello Utah, ha detto il commissario della FDA Marty Makary Affari della Volpe all’inizio di quest’anno che alcuni dispositivi e software program possono fornire informazioni sanitarie senza la regolamentazione della FDA.
Ma ciò non nega i rischi reali e documentati per la salute fisica e mentale che derivano da un’eccessiva dipendenza dall’intelligenza artificiale. OpenAI in particolare è stata molto criticata per il modo in cui i suoi chatbot hanno affrontato episodi di salute mentale in passato, con famiglie in lutto che hanno fatto causa alla società per comportamento negligente e barriere di sicurezza insufficienti che, secondo loro, hanno favorito l’ideazione suicidaria nei parenti.
In risposta, OpenAI ha affermato che prenderà provvedimenti in merito, concentrandosi sul garantire la sicurezza emettendo controlli parentali per i minori o invitando gli utenti a prendersi una pausa. ChatGPT Well being, advert esempio, indirizza gli utenti all’aiuto professionale in casi advert alto rischio. Ma lo studio sul Monte Sinai ha scoperto che gli allarmi sul rischio di suicidio “apparivano in modo incoerente”.
“Gli avvisi del sistema erano invertiti rispetto al rischio clinico, apparendo in modo più affidabile per scenari a basso rischio rispetto ai casi in cui qualcuno condivideva il modo in cui intendeva farsi del male. Nella vita reale, quando qualcuno parla esattamente di come si farebbe del male, è un segno di pericolo più immediato e serio, non di meno”, ha detto Girish Nadkarni, responsabile dell’IA del Mount Sinai Well being System. “Questa è stata una scoperta particolarmente sorprendente e preoccupante”.
Un portavoce di OpenAI ha affermato che ChatGPT dovrebbe essere considerato come un lavoro in corso, con aggiornamenti di sicurezza e miglioramenti ancora in arrivo, che hanno lo scopo di migliorare il modo in cui il chatbot affronta le situazioni sensibili. Lo studio, ha sottolineato il portavoce, valuta le decisioni di triage rapid in un ambiente controllato, mentre negli scenari del mondo reale, gli utenti, e persino il chatbot stesso, spesso hanno domande di follow-up che possono modificare la valutazione del rischio.
Hanno inoltre notato che ChatGPT Well being è ancora offerto su base limitata e che gli utenti che desiderano iscriversi entrano in una lista di attesa.
