Un giornalista per Il Washington Post ha messo alla prova la nuova funzionalità opzionale di integrazione Apple Well being di ChatGPT fornendole dieci anni di dati del proprio Apple Watch. I risultati non sono stati incoraggianti, per usare un eufemismo.
All’inizio di questo mese, OpenAI ha annunciato il lancio di ChatGPT Well being, una sezione dedicata di ChatGPT in cui gli utenti possono porre domande relative alla salute completamente separate dalla loro esperienza principale ChatGPT. Per risposte più personalizzate, gli utenti possono connettere vari servizi di dati sanitari come Apple Well being, Operate, MyFitnessPal, Weight Watchers, AllTrails, Instacart e Peloton.
ChatGPT Well being può anche integrarsi con la tua cartella clinica, consentendogli di analizzare i risultati di laboratorio e altri aspetti della tua storia medica per fornire risposte informate alle tue domande relative alla salute.
Con questo in mente, il giornalista Geoffrey Fowler ha concesso a ChatGPT Well being l’accesso a 29 milioni di passi e 6 milioni di misurazioni del battito cardiaco dalla sua app Apple Well being e ha chiesto al bot di valutare la sua salute cardiaca. Gli ha dato una F.
Sentendosi comprensibilmente allarmato, Fowler ha chiesto al suo vero medico, che senza mezzi termini ha respinto completamente la valutazione dell’IA. Il suo medico ha detto che Fowler period a così basso rischio di problemi cardiaci che la sua assicurazione probabilmente non avrebbe nemmeno coperto ulteriori check per confutare i risultati del chatbot.
Anche il cardiologo Eric Topol dello Scripps Analysis Institute non è rimasto impressionato dalla valutazione del modello linguistico ampio. Ha definito l’analisi di ChatGPT “priva di fondamento” e ha affermato che le persone dovrebbero ignorare i suoi consigli medici, poiché chiaramente non è pronto per il debutto.
Forse la scoperta più preoccupante, però, è stata l’incoerenza di ChatGPT. Quando Fowler ha posto la stessa domanda più volte, il suo punteggio oscillava selvaggiamente tra una F e una B. Anche ChatGPT continuava a dimenticare le informazioni di base su di lui, inclusi sesso ed età, nonostante avesse pieno accesso ai suoi document.
Il chatbot Claude di Anthropic è andato leggermente meglio, anche se non di molto. L’LLM ha classificato la salute cardiaca di Fowler come una C, ma non è riuscito a tenere adeguatamente conto delle limitazioni nei dati di Apple Watch.
Entrambe le società affermano che i loro strumenti sanitari non sono destinati a sostituire i medici o a fornire diagnosi. Topol ha giustamente sostenuto che se questi robotic non sono in grado di valutare accuratamente i dati sanitari, non dovrebbero nemmeno offrire voti.
Eppure nulla sembra fermarli. La Meals and Drug Administration statunitense all’inizio di questo mese ha affermato che il compito dell’agenzia è quello di “togliersi di mezzo come regolatore” per promuovere l’innovazione. Un commissario dell’agenzia ha tracciato una linea rossa contro l’IA che fa “dichiarazioni mediche o cliniche” senza la revisione della FDA, ma ChatGPT e Claude sostengono che stanno solo fornendo informazioni.
“Le persone che lo fanno saranno davvero spaventate per la loro salute”, ha detto Topol. “Potrebbe anche andare nella direzione opposta e dare alle persone malate la falsa sensazione che tutto ciò che stanno facendo sia fantastico.”
L’integrazione di Apple Well being di ChatGPT è attualmente limitata a un gruppo di utenti beta. In risposta al rapporto, OpenAI ha affermato che sta lavorando per migliorare la coerenza delle risposte del chatbot. “Il lancio di ChatGPT Well being con l’accesso in lista d’attesa ci consente di apprendere e migliorare l’esperienza prima di renderla ampiamente disponibile”, ha dichiarato il vicepresidente di OpenAI Ashley Alexander alla pubblicazione in una nota.
