AI KUTATÁS
A kutatók veszélyes hallucinációkra figyelmeztetnek az AI orvosi leiratozásaiban
Számos kutató fejezte ki aggodalmát, miután megállapították, hogy az OpenAI Whisper nevű leiratozó eszköze gyakran hallucinál, és olyan szövegeket talál ki, amelyek soha nem hangzottak el a felvételeken, annak ellenére, hogy széles körben alkalmazzák az egészségügyben.
- Egy michigani kutató a vizsgált leiratok 80%-ában talált kitalált szöveget, míg egy másik szakértő „szinte minden” Whisper-eredményben hallucinációkról számolt be.
- A hallucinációk a nem létező orvosi kezelésektől kezdve a rasszista megjegyzéseken át a szabályos erőszakos tartalomig terjedtek.
- Az AP jelentése szerint több mint 30 000 egészségügyi szakember használ Whisper-alapú eszközöket az OpenAI figyelmeztetései ellenére, amelyek óvnak a nagy kockázatú alkalmazásoktól.
- A Whisper volt a legnépszerűbb open-source beszédmodell is a Hugging Face szerint, csak az elmúlt hónapban több mint 4,2 millió letöltéssel.
Miért fontos?
A hallucinációk jelenleg az AI-rendszerek sajnálatos velejárói – és amíg nem sikerül őket 100%-ban megbízhatóan orvosolni, a nagy kockázatú környezetben történő alkalmazásuk katasztrófához vezethet. Úgy tűnik azonban, hogy a kereskedelmi nyomás megelőzi a megfelelő óvintézkedéseket, mivel minden iparág igyekszik meglovagolni az AI-hullámot. ---