MACHINE LEARNING KUTATÁS
A Stanford és a Together.AI az "Intelligencia per Watt" mutatóval méri az Edge AI teljesítményét
A nagy nyelvi modellek iránti várható kereslet masszív adatközpont-építéseket ösztönöz. A kutatók azt vizsgálták, hogy a helyi eszközökön futó kisebb modellek érdemben könnyíthetnének-e ezen a terhelésen.
Újdonság: Jon Saad-Falcon, Avanika Narayan és kollégáik a Stanford Egyetemen és a Together AI-nál (szoftverfejlesztő és tréning szolgáltató) megállapították, hogy a laptopok egyre inkább képesek helyettesíteni a felhőalapú számítástechnikát egy általuk "intelligencia per watt"-nak nevezett mutató alapján.
Kulcsfontosságú felismerés: A felhőrendszerek jellemzően energiahatékonyabbak felhasználónként, mint a helyi rendszerek, de a kisebb, nagy teljesítményű modellek egyre inkább lehetővé teszik a helyi rendszerek hatékonyabb futtatását. Egy korábbi korszakban a feldolgozás akkor tolódott el a nagygépektől a személyi számítógépek felé, amikor a PC-k képesek voltak elég jól teljesíteni azonos vagy kevesebb energiafelhasználás mellett. Hasonlóképpen, az AI feladatok átkerülhetnek az adatközpontokból a személyi eszközökre, ha a laptopokon futó kisebb modellek elegendő pontosságot nyújtanak kevesebb lekérdezésenkénti energiafelhasználással. A helyi és a felhőalapú számítástechnika életképességét az intelligencia per watt kiszámításával mérhetjük: az adott feladaton elért pontosság osztva az eléréséhez felhasznált energiával. Feltételezve, hogy a helyi és a felhőrendszerek hasonló pontosságot érnek el, a magasabb intelligencia per watt értékkel rendelkező rendszer a hatékonyabb választás.
- A szerzők különféle nyílt súlyozású nagy nyelvi modelleket futtattak laptopokhoz és adatközponti szerverekhez tervezett hardvereken.
- A tanulmány olyan új modelleket tartalmazott, mint a Qwen3, GPT-OSS, Gemma3 és IBM Granite 4.0, a régebbi Mixtral-8x7B és Llama-3.1-8B mellett.
- A hardvertesztek magukban foglalták az Apple M4 Max laptop chipet és az Nvidia H100 adatközponti chipet, valamint régebbi processzorokat, mint az Nvidia Quadro RTX 6000.
- A pontosság méréséhez a szerzők rögzített kimeneteket hasonlítottak össze a ground truth adatokkal, és a GPT-4o-t használták a nyitott végű válaszok kiértékeléséhez, miközben rögzítették az energiafogyasztást.
- Az Nvidia B200 chipet használó felhőrendszerek legalább 1,4-szer magasabb intelligencia per watt értéket értek el, mint ugyanazok a modellek helyi chipeken futtatva.
- A helyi intelligencia per watt érték 5,3-szorosára nőtt 2023 és 2025 között az algoritmikus fejlődésnek és a hardveres javulásoknak köszönhetően.
- Szimulált hibrid forgatókönyvekben a helyi rendszerek a lekérdezések körülbelül 88,7 százalékára válaszoltak helyesen a felhőrendszerekhez képest, miközben az energia több mint 80 százalékát megtakarították.
Miért fontos?
A kutatók gyorsan fejlesztik a nagy nyelvi modelleket, így azonos energiafelhasználás mellett egyre nagyobb teljesítményt érnek el. Ennek a fejlődésnek a követése felfedi az energia és a teljesítmény közötti kompromisszumot. Ahogy ez az egyensúly egyre inkább az alacsony fogyasztású eszközök felé billen, a felhasználóknak több lehetőségük lesz a számítási terhelés megosztására és a gépi intelligencia szélesebb körű elterjesztésére. ---