Ny studie: ChatGPT-4 skriver minst lika bra som forskare

En ny studie visar att artificiell intelligens kan skriva introduktioner till vetenskapliga artiklar lika bra som forskarna själva. Det sparar inte bara tid, ChatGPT4:s förmåga att enkelt förmedla komplexa ämnen kan också bidra till större spridning av forskning.

Den danske professorn Jacob Rosenberg och hans team har arbetat i 15 år med att effektivisera skrivprocesser för att få mer tid till forskning. Nu har de visat att ChatGPT klarar av att ta hand om en viktig och tidskrävande del av skrivarbetet, och kanske till och med göra det bättre än forskarna som skrivit själva artikeln.

– Med studien har vi med statistiska metoder visat att AI är riktigt bra på att skriva introduktioner. Vårt mål var att visa att AI gör det lika bra som människor och därmed skulle kunna hantera uppgiften på ett tillfredsställande sätt, och det lyckades vi med, säger Jacob Rosenberg, professor och överläkare i kirurgi vid Herlev sjukhus och medförfattare till studien.

Studien visade också att modellen presterade bättre än människor på en viktig parameter.

– Målet var inte att undersöka om tekniken var bättre än mänskliga författare. Men en del av studien var en subjektiv poängsättning av proffs som läste artiklarna, och texterna ChatGPT hade skrivit fick mycket positiva omdömen, säger Jacob Rosenberg.

Han påpekar att vissa forskare, kanske särskilt de yngre, ibland har en tendens att formulera sig mer krångligt än nödvändigt. Det gör artiklarna mer krävande att läsa, vars betydelse inte ska underskattas, anser han.

Den akademiska nivån håller

Det är en tydlig styrka och helt avgörande att ChatGPT skriver flytande och lättläst, säger Jacob Rosenberg.

– Bra språk är något som vi verkligen utbildar våra forskare i, vilket gör att man behåller läsarna,  forskningen citeras mer och får en bredare tillämpning. Tyvärr är forskning ofta mycket kryptiskt formulerad och svårläsligt.”

Jacob Rosenberg betonar att även om språket i ChatGPT är lätt att läsa, håller det fortfarande den akademiska nivå som förväntas av målgruppen.

Jacob Rosenbergs forskarkollega Jason Joe Baker ligger bakom prompterna – den språkliga inputen – som ChatGPT har skrivit de testade introduktionerna på. Han är läkare och doktor. specialiserad på kirurgi på Herlev sjukhus och förklarar att de fick testa ganska många prompter innan de hittade något som gav önskat resultat.

– Vi började med pilottestning. Det vill säga, vi försökte med olika prompter för att få det resultat som mest liknade en vanlig artikel skriven av en forskare. När en promt fungerade bra provade vi den på olika artiklar. Till slut hade vi något som var så bra att det kunde generaliseras och användas i studien, säger han.

Vi har bara sett början

Jacob Rosenberg ser en stor framtid för generativ AI inom hälsa. Han är övertygad om att vi just nu bara sett början, inte bara när det gäller att skriva artiklar, utan generellt sett.

– Vi nosar på början nu, och sedan kommer det att explodera. Inom detta område tror jag att vi inom ett antal år kommer att se hela skrivprocessen automatiseras. Sedan kan du mata en AI-modell med essensen och låta den skriva vad du behöver. Naturligtvis ska kvaliteten säkerställas, men det kommer att innebära att uppdraget för forskaren blir annorlunda, säger han.

Jacob Rosenberg är inte orolig för om tekniken har baksidor.

– Saker och ting kommer att förändras, men jag är inte orolig för processen. Men det är klart att det blir en utveckling där våra arbetsuppgifter blir annorlunda. Och då måste man som sagt kvalitetssäkra innehållet och se till att allt är ok, så i slutänden är det fortfarande den mänskliga hjärnan, säger han.

Teamet bakom ChatGPT-4-studien har gjort ett motsvarande vetenskapligt trycktest av ChatGPT-4 för utformning av nyhetsbrev åt redaktörer på vetenskapliga tidskrifter. Även här var resultaten goda och studien är godkänd och beräknas publiceras inom några veckor.

Studiens viktigaste resultat:

• Ingen signifikant skillnad: GPT-4 och mänskligt skrivna introduktioner visade ingen signifikant skillnad i publicerbarhet och innehållskvalitet.
• Läsbarhet: GPT-4 hade något bättre poäng i läsbarhet, men skillnaden ansågs inte relevant.
• Bedömarnas preferenser: Majoriteten av bedömarna (59 procent) föredrog GPT-4 skriftliga introduktioner, medan 33 procent föredrog mänskliga skriftliga introduktioner.
• Gissa författarskap: Mindre än hälften av bedömarna kunde identifiera om introduktionerna var skrivna av GPT-4 eller människor.

Metod:

• Design: Randomiserad non-inferiority-studie.
• Verktyg: GPT-4 användes för att syntetisera 18 introduktioner baserat på målen för tidigare publicerade studier.
• Jämförelse: GPT-4-introduktionerna jämfördes med de ursprungliga mänskliga introduktionerna från en medicinsk tidskrift.
• Betyg: Åtta blindade bedömare utvärderade introduktionerna med hjälp av 1-10 Likert-skalor. Varje inledande avsnitt utvärderades av 3 bedömare.
• Språkanalys: Läsbarheten bedömdes med hjälp av Lix- och Flesch-Kincaid-poängen.