AZ AI JÖVŐJE
Az új ternáris számítási módszer rendkívül energiahatékonnyá teszi az AI-oktatást
2027-re az AI-ipar várhatóan annyi energiát fogyaszt majd évente, mint Hollandia. A jelenlegi AI-modellek nagymértékben a mátrixszorzásra (MatMul) támaszkodnak, amely egy energiaigényes folyamat, és összetett tizedesjegyek szorzását igényli a hálózati rétegeken keresztül. Ennek megoldására a University of California, Santa Cruz kutatói egy ígéretes módszert mutattak be, amely átalakíthatja az LLM-ek tanítását azáltal, hogy egyszerűsíti a mögöttük álló alapvető matematikát. A kutatók módszert találtak a számok ternáris értékekké (-1, 0 és 1) történő alakítására, ami lehetővé teszi a számítógépek számára a számok összeadását a szorzás helyett. A tech vállalatok, mint az OpenAI, jelenleg a billió paraméteres modellek felé haladnak, amelyek még nem kompatibilisek ezzel a megközelítéssel, de a kutatók szerint a módszer felskálázható és a meglévő hardverekhez igazítható.
- A kutatók egy Llama-2-höz hasonló, egymilliárd paraméteres modellt futtattak mindössze 13 wattos teljesítménnyel.
- Az energiaigény megegyezik egyetlen LED-izzóéval.
- A módszer nagy hatékonyságot ér el a modell teljesítményének jelentős csökkenése nélkül.
- A megközelítés az összetett mátrixszorzást egyszerűbb, ternáris értékeket használó összeadással helyettesíti.
- A rendszert úgy tervezték, hogy kompatibilis legyen az AI-cégek meglévő hardvereivel.
Miért fontos?
Fenntarthatóbb AI-oktatási megközelítésre van szükség, hogy az iparág ne terhelje túl a globális energiahálózatokat és vízkészleteket. Ez a módszer jelentősen csökkentheti az LLM-ek környezeti lábnyomát a teljesítmény megőrzése mellett. ---