Az MIT kutatói módszert fejlesztettek ki az LLM hallucinációk észlelésére

Az MIT kutatói új, ígéretes technikát fejlesztettek ki a mesterséges intelligencia egyik legnagyobb gyengeségének, a Large Language Models (LLM-ek) hallucinációinak kezelésére. Ezek a modellek, bár lenyűgöző nyelvi képességekkel rendelkeznek, hajlamosak téves vagy teljesen kitalált információkat állítani, miközben rendkívül magabiztosnak tűnnek. Az MIT csapata által kidolgozott módszer egy kiegészítő, kisebb méretű modellt alkalmaz, amely a nagyobb LLM működését figyeli. A technika lényege, hogy képes valós időben elemezni a modell úgynevezett hőmérsékletét, vagyis azt a belső statisztikai állapotot, amely jelzi, mennyire biztos a rendszer a válaszaiban. Amikor a rendszer azt észleli, hogy a modell túlságosan magabiztos egy olyan jóslattal kapcsolatban, amely valószínűleg hamis, a kiegészítő eszköz képes beavatkozni és jelezni a potenciális tévedést.

A módszer működése mögött egy kifinomult analitikus folyamat áll, amely kifejezetten arra összpontosít, hogy azonosítsa azokat a pillanatokat, amikor az AI füllent, vagyis amikor a statisztikai valószínűség alapján összeállított válasza nem a valós tényeken alapul, hanem a modell belső összefüggéseinek téves értelmezéséből származik. A kisebb kiegészítő modell folyamatosan figyeli a nagyobb LLM belső jelzéseit, és összeveti azokat a generált kimenettel. Ez az eljárás azért újszerű, mert nem a modell által generált szöveget próbálja utólag ellenőrizni, hanem magát a generálási folyamatot monitorozza, ezzel gyorsabb és pontosabb diagnózist adva arról, hogy a modell mennyire támaszkodhat saját tudására egy adott kérdés kapcsán.

Ez a fejlesztés kulcsfontosságú lépés az AI technológiák megbízhatóságának növelésében, különösen olyan területeken, ahol a pontosság elengedhetetlen. Jelenleg a nagy nyelvi modellek azzal a veszéllyel járnak, hogy meggyőző stílusban tálalnak hamis információkat, ami bizalmi válságot okozhat a felhasználók körében. Ez az új módszer segíthet a mérnököknek abban, hogy a jövőben olyan rendszereket építsenek, amelyek képesek felismerni saját korlátaikat és a bizonytalan válaszaikat. Ha a modellek megtanulják jelezni, amikor egy válasz nem kellően alátámasztott, az radikálisan javíthatja az AI kimenetek minőségét, és szélesebb körű szakmai alkalmazást tehet lehetővé a kutatás, az orvostudomány vagy a jogi szektor területén is.