A Microsoft Research skálázási törvényeket talált a világmodellezéshez és a viselkedésklónozáshoz
A Microsoft kutatói úgynevezett „skálázási törvényeket” (scaling laws) fedeztek fel a világmodellezés és a viselkedésklónozás terén, amelyek hasonlóak az AI más területein, például az LLM-eknél tapasztaltakhoz. „Kimutatjuk, hogy a nyelvi modellezésben talált hatványtörvények (például a veszteség és az optimális modellméret között) a világmodellezésben és az utánzásos tanulásban (imitation learning) is megjelennek” – írják a kutatók.
A kutatók két különálló feladatot vizsgáltak a Bleeding Edge nevű videojátékban: a világmodellezést (ahol a modell megpróbálja megjósolni a jövőbeli megfigyeléseket a korábbiakból és a cselekvésekből), valamint a viselkedésklónozást (ahol a jövőbeli cselekvéseket jósolják meg a környezetben tevékenykedő emberek korábbi adatállományai alapján). A Bleeding Edge egy pörgős, 4 a 4 elleni többjátékos játék, összetett kooperatív és kompetitív dinamikával.
- Bebizonyították, hogy a nyelvi modellezésben talált hatványtörvények alkalmazhatók a világmodellezésre és az utánzásos tanulásra is.
- A Bleeding Edge videojáték adatait használták a skálázás tesztelésére összetett stratégiai és reaktív feladatokon keresztül.
- Megállapították, hogy a WM-Token-256 architektúra skálázási együtthatói szorosan megegyeznek az LLM-ekéivel.
- Arra utalnak, hogy a modell teljesítménye zökkenőmentesen skálázható az LLM szakirodalomból származó felismerések mentén.
Talán nincsenek is rejtélyek? Lehet, hogy az AI-ban minden egy skálázási törvényt követ. Ez komoly dolog – azt sugallja, hogy találtunk egy közös technológiát (itt a neurális hálókat), amely kiszámítható teljesítménynövekedést eredményez látszólag tetszőleges számú területen... csak megfelelően kell skálázni az adatokat és a számítási kapacitást (compute). ---