Az AlgoPerf benchmark célja a neurális hálózati optimalizálók értékelésének szabványosítása
Időről időre előáll valaki egy új rendszerrel a neurális hálók tanításának optimalizálására, gyakran megdöbbentő teljesítménybeli állításokkal. Ezek a rendszerek azonban nagy léptékben (at scale) gyakran kudarcot vallanak, így a legtöbb fejlesztő visszatér az Adam használatához. Most az MLCommons szervezeten keresztül dolgozó kutatók egy csoportja létrehozta az AlgoPerf-et, egy benchmarkot az olyan optimalizálók értékelésére, mint az Adam.
Az AlgoPerf révén végre lehet egy tisztességes, elvi alapokon nyugvó módszerünk az új optimalizálók értékelésére és annak megállapítására, hogy valóban érnek-e valamit. A benchmark egy teljes eljárást határoz meg a validációs és tesztelési hiba-célkitűzések kitűzésére, valamint az ezek eléréséhez szükséges tanítási idő mérésére. Az általánosan hasznos tanítási algoritmusokat ösztönzi azáltal, hogy közös pontszámot számít a különböző munkaterhelések (workloads) között, és véletlenszerű feladatokat is tartalmaz az újszerű problémák szimulálására.
- Meghatározott benchmark feladatokat tartalmaz, amelyek kiterjednek a képfelismerésre, a beszédfelismerésre és a gépi fordításra.
- Véletlenszerű feladatokat is tartalmaz, amelyek módosítják az adatbővítést (data augmentation) vagy a modellarchitektúrákat.
- Erős alapvonalakat (baselines) határoz meg nyolc népszerű optimalizáló – köztük az AdamW, a LAMB és az Adafactor – keresési tereinek definiálásával.
- Célja az olyan általános célú tanítási algoritmusok ösztönzése, amelyek könnyen alkalmazhatók a különböző adattípusok (modalitások) esetében.
Miért fontos?
Az olyan optimalizálók, mint az Adam, alapvető fontosságúak a legtöbb AI-rendszer tanításának általános hatékonysága szempontjából – így ha bárki ésszerű Pareto-front javulást ér el ezen a téren, annak hatása az egész AI-szektorban összeadódik. ---