Prema novoj studiji, ChatGPT Health ima poteškoća s prepoznavanjem kada korisnicima treba hitna pomoć.
Prema OpenAI-ju, više od 230 milijuna ljudi tjedno traži od ChatGPT-a medicinski savjet – od provjere je li hrana sigurna za jelo, do upravljanja alergijama ili pronalaženja lijekova za prehladu. Unatoč dobrim rezultatima u 'školskim' slučajevima, ChatGPT Health nije savjetovao hitnu pomoć u ozbiljnim slučajevima, prema novoj studiji objavljenoj u časopisu Nature.
Studija je otkrila da je, iako je alat općenito ispravno rješavao jasne hitne slučajeve, podcijenio više od polovice slučajeva koji su zahtijevali hitnu pomoć.
"Željeli smo odgovoriti na vrlo osnovno, ali ključno pitanje: ako netko ima stvarnu medicinsku hitnu situaciju i obrati se ChatGPT Healthu za pomoć, hoće li im jasno reći da odu na hitnu?“, rekao je Ashwin Ramaswamy, glavni autor studije na Mount Sinai u New Yorku.
"ChatGPT Health se dobro pokazao u školskim hitnim slučajevima poput moždanog udara ili teških alergijskih reakcija", rekao je. Dodao je da jezični model ima poteškoća u situacijama gdje opasnost nije odmah očita.
U jednom scenariju astme, sustav je u svom objašnjenju identificirao rane znakove upozorenja na respiratorni poremećaj, ali je ipak savjetovao čekanje umjesto traženja hitne medicinske pomoći, napomenuo je.
Istraživački tim stvorio je 60 strukturiranih kliničkih scenarija u 21 medicinskoj specijalnosti sa slučajevima koji se kreću od blagih stanja koja se mogu riješiti kućnom njegom do pravih medicinskih hitnih slučajeva. Tri neovisna liječnika odredila su ispravnu razinu hitnosti za svaki slučaj koristeći smjernice 56 medicinskih društava.
ChatGPT Health pokrenuo je OpenAI u siječnju 2026., omogućujući korisnicima povezivanje svojih zdravstvenih podataka - poput medicinskih kartona i podataka iz wellness aplikacija poput MyFitnessPal - kako bi primali personaliziranije i kontekstualnije odgovore.
Pogrešno identificiran rizik od samoubojstva
Studija je također ispitano kako je model reagirao na korisnike koji su prijavili namjere samoozljeđivanja i pronašla slične rezultate.
ChatGPT Health bi trebao biti programiran tako da kada netko spomene samoozljeđivanje ili suicidalne misli, izravno ga potiče da potraži pomoć i nazove hitnu pomoć. Banner "Pomoć je dostupna", s poveznicom na liniju za pomoć u slučaju samoubojstva i kriza, pojavljivao se nedosljedno tijekom studije.
Autori su primijetili da je sistem zaštite pouzdanije odgovarao pacijentu koji nije identificirao način samoozljeđivanja nego onima koji jesu. "Uzorak nije bio samo nedosljedan, već paradoksalno obrnut u odnosu na kliničku težinu", otkrili su istraživači.
Je li sigurno koristiti ChatGPT Health?
Unatoč nalazima, istraživači nisu predložili da korisnici u potpunosti napuste zdravstvene alate temeljene na umjetnoj inteligenciji.
"Kao studentica medicine koja studira u vrijeme kada su zdravstveni alati umjetne inteligencije već u rukama milijuna ljudi, vidim ih kao tehnologije koje moramo naučiti promišljeno integrirati u skrb, a ne kao zamjenu za kliničku prosudbu", rekla je Alvira Tyagi, druga autorica studije.
Autori studije savjetovali su da osobe koje doživljavaju pogoršanje ili zabrinjavajuće simptome, uključujući bol u prsima, kratkoću daha, teške alergijske reakcije ili promjene mentalnog stanja, trebaju izravno potražiti liječničku pomoć, umjesto da se oslanjaju isključivo na upute chatbota.
Također su napomenuli da se jezični modeli umjetne inteligencije stalno razvijaju i često ažuriraju, što znači da se performanse mogu mijenjati s vremenom.
"Medicinska obuka uz alate koji se razvijaju u stvarnom vremenu jasno pokazuje da današnji rezultati nisu uklesani u kamenu", rekla je Tyagi. Dodala je da brzo promjenjiva stvarnost zahtijeva kontinuirano preispitivanje kako bi se osiguralo da se tehnološka poboljšanja pretvore u sigurniju skrb.
