AI INFRASTRUKTÚRA
A Meta Rankitect rendszere felskálázza a neurális architektúra keresést a világszínvonalú rangsorolási modellekhez
A Facebook kifejlesztette a Rankitect szoftvert, amely neurális architektúra keresést (NAS) végez a Meta rangsorolási rendszereihez. A tesztek során a Facebook szerint a Rankitect olyan modellek építésében segített, amelyek jobbak a kizárólag mérnökök által fejlesztetteknél, beleértve a Facebook éles környezetében használt hatalmas modellekhez hasonló léptékűeket is. „A Rankitect jobb modelleket tud generálni, mint a mérnökök, pozitív offline értékelést és online A/B tesztet érve el Meta-szinten” – írják a szerzők. „A Rankitect a nyers bemenetek (egy sűrű 2D jellemzővektor és egy ritka/kategória beágyazásokból, valamint tartalom-beágyazásokból összefűzött 3D beágyazás) és a CTR-előrejelzéshez használt végső logit közötti teljes (end-to-end) architektúrát kutatja”. A Rankitect teszteléséhez a Facebook a modelljeit „a Meta legerősebb produkciós modelljéhez hasonlította, amely egy világszínvonalú mérnökök által, évek üzleti igényei alapján optimalizált átkattintási arány (CTR) modell”. Megállapították, hogy a Rankitect képes „a semmiből új modelleket felfedezni, versenyképes egyensúlyt elérve a normalizált entrópia-veszteség és a FLOP-szám között”, és „jobb modelleket generál, mint a mérnökök, pozitív offline értékelést és online A/B tesztet produkálva Meta-léptékben”.
- Automatizálja az átkattintási arány (CTR) előrejelzéséhez szükséges teljes körű architektúrák keresését.
- Architektúrákat keres a nyers sűrű jellemzővektorok és a 3D beágyazások (embeddings) között.
- Statisztikailag szignifikáns javulást ért el a Meta legerősebb produkciós modelljeivel szemben az online A/B teszteken.
- Képes a semmiből új modelleket felfedezni versenyképes hatékonysági/teljesítménybeli kompromisszumokkal.
- Bebizonyítja, hogy az automatizált keresés túlszárnyalhatja a szakértői mérnökcsapatok többéves manuális munkáját.
Miért fontos?
Az AI nagy része arról szól, hogyan alakítsuk a számítási ciklusokat pénzzé. Az olyan rendszerek, mint a Rankitect, olyan infrastruktúrák, amelyek végső soron lehetővé teszik a számítógépes kapacitás közvetlen átalakítását a meglévő rendszerekhez képest jobb teljesítményt nyújtó megoldásokká. Minél inkább működik ez, a vállalatok annál gyorsabban és agresszívabban lesznek képesek finomítani saját működésüket.