A Goodfire vezérigazgatója, Eric Ho elmagyarázza, hogyan nyissuk ki az AI belső „fekete dobozát”
A modern mesterséges intelligencia fejlesztésének egyik legnagyobb kihívása a fekete doboz jelensége, vagyis az a tény, hogy bár pontosan tudjuk, milyen adatokkal tanítjuk az AI modelleket, a működésük közbeni belső folyamatok sokszor teljesen átláthatatlanok. Eric Ho, a Goodfire vezérigazgatója szerint azonban eljött az ideje, hogy feltárjuk ezeket a titkokat. A Goodfire egy úttörő startup, amely olyan innovatív eszközökön dolgozik, amelyek lehetővé teszik a neurális hálózatok belső világának feltérképezését. A cég célja az úgynevezett szándékos tervezés megvalósítása, ahol az AI modelleket nem csupán hatalmas adathalmazokba vetett vaktöltényként kezeljük, hanem olyan mérnöki alkotásként, amelyet tudatosan lehet ellenőrizni, javítani és finomhangolni.
A kutatások szerint a modellek nem csupán statisztikai alapon jósolják meg a következő szót, hanem egy jóval gazdagabb belső világot építenek fel, amely tele van jellemzőkkel, áramkörökkel és bonyolult matematikai struktúrákkal. Érdekesség, hogy a modellek ezeket a fogalmakat gyakran olyan görbült, magas dimenziós formákként reprezentálják, amelyek távol állnak az egyszerű szöveges adatoktól. A Goodfire kutatói például olyan belső hallucinációs mechanizmusokat azonosítottak, amelyeket célzott jutalmazással képesek elnyomni, ezzel jelentősen javítva a rendszer megbízhatóságát. Az egyik látványos példa a hegyi autó teszt volt, amely során kiderült, hogy a modell belső geometriájának követése sokkal folyékonyabb és pontosabb teljesítményt eredményez, mint ha a rendszert kényszerítenénk egy merev, lineáris logika követésére.
Ez a technológiai áttörés gyökeresen megváltoztathatja az AI fejlesztés jövőjét. Az értelmezhetőség lehetővé teszi, hogy a kutatók ne csak tippeljenek a modell viselkedésével kapcsolatban, hanem ténylegesen bepillantsanak a motorháztető alá, és biztonságosabbá tegyék a rendszereket. A gyakorlati alkalmazások sora rendkívül széles: a hallucinációk visszaszorításától kezdve, a képzési adatok minőségének javításán át, egészen a komplex robotikai rendszerek irányításáig. Különösen ígéretes az a megoldás, ahol a belső bizalmi jelzések alapján a kevésbé erős, olcsóbb modellek automatikusan átadhatják a feladatot a nagyobb, erősebb rendszereknek, ha bizonytalanságot észlelnek. Ahogy a világunkat egyre inkább AI alapú megoldásokra építjük, az ilyen típusú mélyreható mérnöki megközelítés elengedhetetlen lesz a biztonságos, kiszámítható és valóban megbízható technológiai jövő megteremtéséhez.
- A Goodfire képes kinyerni a nyelvet, stílust, aritmetikát, biológiát és a modell saját bizonytalanságát reprezentáló struktúrákat.
- A kutatók belső hallucinációs mechanizmusokat találtak, és jutalmazták a modellt ezek elkerüléséért.
- A modellek úgy tűnik, formákban gondolkodnak, olyan görbült, magas dimenziós struktúrákat használva, amelyek olyan koncepciókat reprezentálnak, mint a nyuszifülek vagy a mozgás.
- A „hegyi autó teszt” (mountain-car test) megmutatta, hogy a modell belső görbült geometriájának követése simább teljesítményt tesz lehetővé, mint az egyenes vonalban történő erőltetés.
- A belső bizalmi jelzések lehetővé tehetik az olcsóbb modellek számára, hogy átadják a feladatokat az erősebb modelleknek, ha bizonytalanok.
- Az értelmezhetőség (interpretability) megváltoztathatja a modellképzést a próba-szerencse alapú „tippelj és ellenőrizd” módszerből a tudatos mérnöki munkába.
Az értelmezhetőség a kulcs ahhoz, hogy megértsük azokat az AI-rendszereket, amelyek köré újraépítjük a világunkat. A „szándékos tervezés” felé történő elmozdulás lehetővé teszi a kutatók számára, hogy ahelyett, hogy a „fekete doboz” tréningre hagyatkoznának, tudatosan vizsgálják, irányítsák és fejlesszék a modelleket. ---