Az OpenAI kutatása rávilágít, miért küzdenek az AI-modellek a hallucinációkkal
Minden AI-felhasználó tapasztalta már: az LLM-ek rendkívül magabiztos válaszairól végül kiderül, hogy teljesen kitaláltak. Az OpenAI most úgy véli, végre rájöttek, miért nem tudnak leállni a chatbotok a hallucinálással. A cég legújabb kutatási anyaga szerint az AI-hallucinációk megoldása meglepően egyszerű lehet — meg kell tanítani a modelleknek, hogy ér „nem tudom”-ot mondani. Az OpenAI tanulmánya szerint az AI-rendszerek azért hallucinálnak, mert a standard tanítási módszerek a magabiztos találgatást jutalmazzák a bizonytalanság beismerése helyett, ami utat mutathat az AI minőségi problémáinak megoldása felé.
- A kutatók megállapították, hogy a modellek azért találnak ki tényeket, mert a tanítási tesztek pontozása teljes pontot ad a szerencsés tippekre, de nullát, ha a modell azt mondja: „nem tudom”.
- A tanulmány rámutat, hogy ez egy konfliktust szül: a pontosság maximalizálására tanított modellek megtanulnak mindig tippelni, még akkor is, ha teljesen bizonytalanok a válaszban.
- Az OpenAI konkrét születésnapok és disszertáció-címek lekérdezésével tesztelte ezt az elméletet, és azt találták, hogy a modellek minden alkalommal magabiztosan más-más rossz választ adtak.
- A kutatók az értékelési metrikák újratervezését javasolják, amely kifejezetten szigorúbban büntetné a magabiztos tévedéseket, mint a bizonytalanság kifejezését.
Ez a kutatás a hallucinációs problémát a tanítás során jobban kezelhető kérdéssé teheti. Ha az AI-laborok az őszinteséget kezdik jutalmazni a szerencsés tippek helyett, olyan modelleket kaphatunk, amelyek ismerik a korlátaikat — feláldozva némi teljesítmény-mutatót a kritikus feladatoknál elengedhetetlen megbízhatóságért. ---