Professor: Artificiell intelligens är imponerande bra på att ställa svåra diagnoser

Den artificiella intelligensen bakom chatboten ChatGPT är bättre på att diagnostisera komplexa sjukdomshistorier än prenumeranter på tidskriften NEJM, som förmodligen i första hand är läkare.

Det bedömer danska forskare bakom en ny studie, som också tror att artificiell intelligens så småningom kan få en plats på kliniken.

– Vi trodde på förhand att artificiell intelligens kunde göra något, men det har verkligen överraskat och imponerat. Potentialen är stor, säger Jesper Ryg, klinisk professor och överläkare i geriatrik vid Odense Universitetssjukhus.

Han är seniorförfattare till den nya studien, publicerad i en ny medicinsk tidskrift tillägnad forskning om artificiell intelligens inom medicin, New England Journal of Medicine Artificial Intelligence (NEJM AI). Det är den första AI-studien som Jesper Ryg är inblandad i, och resultatet har gett honom en tankeställare.

– Det väcker många känslor – häpnad, oro, häpnad, men inte minst spänning. När en språkmodell som GPT-4 kan göra detta nu, vart tar utvecklingen oss? säger Jesper Ryg.

Okänd kontrollgrupp

I den nya studien undersökte forskarna GPT-4:s förmåga att diagnostisera 38 svåra patientfall och jämförde den med hur prenumeranter på NEJM bedömde diagnoserna. Här uppnår GPT-4 i snitt 57 procent korrekta svar, medan siffran är 36 procent för NEJM-prenumeranterna. Även om läsarna kan ha många olika bakgrunder bedömer författarna bakom studien att det i första hand är läkare eller kanske läkarstudenter som har försökt diagnostisera patientfall i NEJM.

– Vi vet i princip inte vem vår kontrollgrupp är – om de är läkare, läkarstudenter eller en tredje kategori av prenumeranter. Men det kostar pengar att prenumerera, det är långa och svåra ärenden som kräver hög yrkesnivå för att läsa och förstå. Förmodligen betyder det att det i första hand är läkare eller kanske läkarstudenter som ägnat tid åt dem, säger försteförfattaren Alexander Viktor Eriksen.

Han är doktorand vid Syddanmarks Universitet och Geriatriska avdelningen vid Odense Universitetssjukhus. Han fick idén att testa GPT-4 som ett diagnostiskt verktyg och tillsammans utvecklade författarna studien som han har drivit vid sidan av sin doktorsavhandling. Han fick uppgifter om NEJM-prenumeranters svar från tidskriften.

På väg till kliniken

Jesper Ryg har också gjort sitt bästa för att diagnostisera några av de 38 patientfallen och han kan bekräfta att de är oerhört svåra att svara rätt på. I kombination med studiens resultat tror han att GPT-4 och liknande AI-modeller har potential att bli verktyg för att snabbare ställa korrekta diagnoser i framtiden.

– Redan nu är en språkmodell som GPT-4 imponerande bra på att potentiellt hjälpa till med diagnos. Frågan är då hur bra det kan bli om vi tränar den – eller annan artificiell intelligens – specifikt för ändamålet. Det blir nog mycket bättre då, och det gör potentialen riktigt stor, säger Jesper Ryg.

Han tror att befolkningen också kommer att anamma tekniken.

– Om tekniken utvecklas ytterligare, och man får etik och GDPR på plats, så att man har kontroll över datasäkerheten, kan man tänka sig en framtid där befolkningen nästan förväntar sig att vi har använt AI.

Svagheter i studien

Även om majoriteten av de prenumeranter som lämnat svar på de svåra patientfallen sannolikt är läkare, kan det finnas läkare som inte nödvändigtvis är specialiserade inom samma område som patientfallet berör.

– GPT-4 kanske inte kan överträffa en högspecialiserad läkare inom sitt sjukdomsområde när det gäller att diagnostisera, men för de medicinska specialiteter som arbetar brett och över sjukdomsområden kommer det förmodligen att finnas en potential - kanske som ett kompletterande verktyg som kan ge input, säger Jesper Ryg.

Det kommer faktiskt också att ha betydelse för den forskning som Jesper Ryg kommer att göra i framtiden.

– Jag är ingen AI-forskare på det sättet, men framöver vill jag ta hänsyn till AI i mycket större utsträckning i min forskning. Finns det information, perspektiv eller fördelar med att låta AI hjälpa till? Det pågår mycket spännande forskning runt omkring, säger han.

Resultaten av studien

Forskarna bakom studien använde alla kliniska fall som fanns tillgängliga online under perioden januari 2017 till januari 2023. Dessa fall hade presenterats för NEJM’s läsare med syftet att läsarna skulle försöka ställa diagnosen på patienten i fråga utifrån ett antal svarsalternativ.

Forskarna fick data om totalt 248 614 svar från NEJM-läsare online. De vanligaste diagnoserna bland fallutmaningarna var i infektionssjukdomar med 15 fall (39,5 procent), följt av 5 fall (13,1 procent) inom endokrinologi och 4 fall (10,5 procent) inom reumatologi. Patienterna i de olika fallen varierade i ålder från nyfödd till 89 år (median [interkvartilintervall], 34 [18 till 57]). Om svaret var slumpmässigt skulle antalet korrekta diagnoser bland de 38 patientfallen vara cirka 6,3 (16,7 procent) på grund av de sex svarsalternativen.

Mars 2023-utgåvan av GPT-4 diagnostiserade i genomsnitt 21,8 fall korrekt (57 procent) med god reproducerbarhet (55,3 procent, 57,9 procent, 57,9 procent, 57,9 procent och 57,9 procent), medan NEJM-läsare korrekt diagnostiserade i genomsnitt 13,7 fall (36 procent). September 2023-utgåvan av GPT-4 diagnostiserade korrekt 20,4 fall (54 procent).