A Google felfedezte a Lion optimalizálót mesterséges intelligenciával támogatott szimbolikus programkereséssel
A deep learning projekteknek van néhány alapvető összetevője – az architektúra és az optimalizáló. Évek óta a legtöbb projekt az „Adam” optimalizálót használja a modellek képzés közbeni finomítására. Most a Google közölte, hogy okos AI keresési módszereket használt egy jobb optimalizáló, a Lion azonosítására. Amiért érdemes erre figyelni, az az, hogy a Lion jól működik nagyszabású, valós feladatokon, például ImageNet-léptékű számítógépes látórendszerek tanításakor. A Google fő hozzájárulása itt „egy módszer az algoritmus-felfedezés programkeresésként való megfogalmazására”, amelyet egy jobb optimalizáló kitalálására alkalmaztak. Szimbolikus megközelítést alkalmaznak, ahol a keresési problémát egy kezelhető térre szűkítik, és ami döntő fontosságú: a jelölt optimalizálókat olyan „metavalidációs feladatokon tesztelik, amelyek nagyobbak a helyettesítő feladatoknál a modellméret és a tanítási lépések növelésével, hogy kiválasszák azokat a programokat, amelyek a helyettesítő feladatokon túlmutatva is általánosíthatók, majd tovább egyszerűsítik őket.”
- Szimbolikus megközelítést alkalmaz az algoritmus-felfedezés programkeresésként való megfogalmazásához.
- A Lion (EvoLved Sign Momentum) abban különbözik az adaptív algoritmusoktól, hogy csak a momentumot követi.
- Kihasználja a „sign” műveletet a frissítések kiszámításához, ami alacsonyabb memóriaterhelést eredményez.
- Kimagasló teljesítményt mutat Transformerek, MLP, ResNet, U-Net és hibrid modellek esetén.
- Új rekordot állított fel az ImageNet számítógépes látási benchmarkon.
A Lion alapvetően jobb lehet, mint az Adam – ha ez igaz, az nagy szó. Nem gyakran látni jelentős javulást az AI kutatás nagyon jól tanulmányozott, általános részeiben. Add hozzá azt a tényt, hogy a Lion-t egy ember-AI keresési folyamat során fedezték fel, és máris egy figyelemre méltó eredményről beszélhetünk. ---