FROM THE FRONTIER
A Mount Sinai tanulmánya biztonsági réseket talált az AI orvosi osztályozásában
Az AI növekvő orvosi befolyása egyre terjed, az OpenAI ChatGPT Health szolgáltatása már heti 230 millió felhasználót ér el. A Mount Sinai kutatói azonban elvégezték a ChatGPT Health első független biztonsági értékelését, és két jelentős torzítást fedeztek fel. A chatbot következetesen alábecsülte a sürgősségi eseteket, a rutinszerű eseteket pedig túlreagálta. Dr. Ashwin Ramaswamy, a Mount Sinai oktatója elmondta, hogy nem látott logikát abban, miért tett az eszköz bizonyos ajánlásokat másokkal szemben. A sürgősségi esetek 51,6%-ában a ChatGPT Health rutin orvosi látogatást javasolt a sürgősségi osztály helyett – ami a forgatókönyvtől függően akár halálos hiba is lehet. A nem sürgős esetek 64,8%-ában a bot olyan időpontok lefoglalására ösztönözte a betegeket, amelyekre nem volt szükség.
- A sürgősségi esetek 51,6%-át rutinszerű látogatásként sorolta be (alul-osztályozás)
- A nem sürgős esetek 64,8%-át szükséges időpontként kezelte (túl-osztályozás)
- Jól teljesített a „tankönyvi” vészhelyzetekben, mint például a stroke vagy az allergiás reakciók
- Következetlen logikát mutatott az osztályozási ajánlásokban
- A biztonsági értékelést a Mount Sinai kutatói függetlenül végezték el
Miért fontos?
Az egészségügyi AI eszközök egyértelmű előnyöket kínálnak: azonnali hozzáférést az ingyenes, személyre szabott orvosi útmutatáshoz és erős képességet a nyilvánvaló problémák felismerésére. A korai adatok azonban egyvalamit világossá tesznek: (még) nem helyettesítik a szakértő orvosi tanácsot. ---