AI OKTÁTÁS
A Huawei kifejlesztette a HiFloat8 adatformátumot a hatékony 8 bites LLM-oktatáshoz
A Huawei kutatói közzétették a HiFloat8-at, egy általuk kifejlesztett adatformátumot az AI alacsony precizitású oktatásához. A HiFloat8 egy 8 bites adatreprezentációs specifikáció, amely illeszkedik az AI-fejlesztők vegyes precizitású (mixed-precision) oktatás irányába mutató trendjébe. A HiFloat egy újszerű, 8 bites lebegőpontos formátum (HiF8) a mélytanuláshoz, amely jobb egyensúlyt kínál a precizitás és a dinamikus tartomány között a meglévő Float8 formátumokhoz képest, és egyszerre használható az AI-oktatás előre- és visszacsatolási (forward/backward passes) szakaszaiban is.
Különböző típusú AI-modelleken (például számítógépes látás és LLM-ek) végzett tesztek során a Huawei kimutatta, hogy a HiFloat meglehetősen jól működik, és több területen is felülmúlja a jól felépített alapmodelleket. Az eredmények nem elképesztőek, de nem is kell annak lenniük – ha egymilliárd dollárt költünk oktatási folyamatokra, már az előző hatékonysághoz képest elért egyszámjegyű százalékos javulás is milliókat ér.
- A HiFloat8 (HiF8) az AI-oktatás mind az előre-, mind a visszacsatolási szakaszaihoz készült.
- Jobban egyensúlyoz a precizitás és a dinamikus tartomány között, mint a meglévő 8 bites lebegőpontos formátumok.
- A projektet a HiSilicon indította 2021-ben az alacsony precizitású formátumok fejlesztésére.
- Teljesítménynövekedést mutatott mind a számítógépes látás, mind a nagy nyelvi modellek terén.
- A kutatók tervezik a jövőbeli, 8 bit alatti formátumok közzétételét is.
Miért fontos?
Az ehhez hasonló tanulmányok az AI-fejlesztés vertikális integrációjának tünetei; csak akkor fejlesztünk saját adatformátumot, ha az AI-szoftvert az absztrakció több rétegén keresztül építjük. A kínai vállalatok egyszerre dolgoznak technológiai ökoszisztémájuk függetlenségének javításán és az ezen absztrakciókon belüli innováción. ---