AI FOR MEDICINE
Dr. CaBot: Az AI-ágens felülmúlja az orvosokat a komplex orvosi diagnosztikai érvelésben
A betegségeket diagnosztizáló AI-modellek általában a tünetek leírása alapján állítják fel a diagnózist. A gyakorlatban azonban az orvosoknak képesnek kell lenniük megindokolni érvelésüket és megtervezni a következő lépéseket. Kutatók olyan rendszert építettek, amely képes ezekre a feladatokra. A Dr. CaBot egy AI-ágens, amely több ezer részletes esettanulmány alapján utánozza a szakorvosok diagnózisait. Belgyógyászok egy csoportja úgy találta, hogy diagnózisai pontosabbak és jobban megalapozottak, mint emberi kollégáiké. A munkát a Harvard Medical School, a Beth Israel Deaconess Medical Center, a Brigham and Women’s Hospital, a Massachusetts General Hospital, a University of Rochester és a Harvard University kutatói végezték. Bár az orvosi folyóiratok fontos tudást tartalmaznak, nem nyújtanak diagnosztikai érvelést egységes stílusban. Létezik azonban egy egyedülálló szakirodalmi forrás, amely tartalmazza ezeket. A New England Journal of Medicine 1923 és 2025 között több mint 7000 beszámolót közölt klinikopatológiai konferenciákról (CPC). Ezekben a jelentésekben neves orvosok fizikai vizsgálatok, kórtörténetek és egyéb diagnosztikai adatok alapján elemzik az orvosi eseteket, létrehozva a lépésről lépésre felépített orvosi érvelés egyedülálló gyűjteményét. Egy tünetleírás és a CPC-kből származó hasonló eset birtokában a modell képes átvenni egy szakorvos érvelési és bemutatási stílusát. A szerzők 7102, 1923 és 2025 között megjelent CPC-jelentést digitalizáltak. Megépítették a Dr. CaBot-ot, egy ágens-alapú rendszert, amely az OpenAI o3 modelljét használja a szöveggeneráláshoz. A Dr. CaBot és más diagnosztikai rendszerek tesztelésére létrehozták a CPC-Bench-et, amely 10 feladatot tartalmaz a vizuális kérdések megválaszolásától a kezelési tervek kidolgozásáig.
- Az OpenAI text-embedding-3-small modellje ágyazta be a CPC esetleírásokat, és tárolta őket egy adatbázisban.
- A modell 3 millió, az OpenAlex tudományos irodalmi indexből származó orvosi absztraktot is feldolgozott.
- Egy adott tünetleíráshoz a rendszer két hasonló beágyazással rendelkező CPC-esetet keres ki.
- Az OpenAI o3 akár 25 keresési lekérdezést is generál a tünetek alapján, hogy megtalálja a leghasonlóbb orvosi absztraktokat a további kontextushoz.
- A kombinált tünetek, jelentések és absztraktok alapján az o3 elkészíti a végső diagnózist és az azt alátámasztó érvelést.
- A CPC-Bench tesztelés során a Dr. CaBot az esetek 60 százalékában az első helyre sorolta a helyes diagnózist, szemben a 20 belgyógyászból álló csoport 24 százalékával.
- Öt belgyógyász vaktesztje során a Dr. CaBot érvelését jobbra értékelték, mint az emberi kollégákét.
- A bírák csak az esetek 26 százalékában tudták helyesen megállapítani, hogy az érvelés embertől vagy AI-tól származik, ami azt sugallja, hogy a modell érvelése nagyon emberinek tűnik a szakértők számára.
Miért fontos?
Klinikai környezetben, ahol az orvosoknak betegekkel, szakértőkkel, kórházakkal és biztosítókkal kell együttműködniük, a helyes diagnózis önmagában nem elég. Megalapozott érveléssel kell alátámasztani. Az érvelés, a bizonyítékok idézése és az érvek professzionális formátumban való bemutatása fontos lépés az olyan automatizált orvosi asszisztensek felé, akik képesek együttműködni az orvosokkal és elnyerni a betegek bizalmát. ---