AI KUTATÁS
A Microsoft Research bemutatja a rendkívül energiahatékony 1-bites LLM változatot
A Microsoft Research nemrég tette közzé „The Era of 1-bit LLMs” című új tanulmányát, amelyben bemutatnak egy áttörést jelentő, mindössze 1 bites méretű LLM változatot, a BitNet b1.58-at.
- A BitNet b1.58 egy 1.58-bites LLM változat, ahol minden paraméter ternáris {-1, 0, 1}.
- Ez az LLM változat 3B mérettől kezdve eléri a teljes pontosságú (FP16) LLM-ek teljesítményét.
- Elképesztő módon 70-szer energiahatékonyabb és 4-szer kisebb, mint a LLaMA LLM.
Miért fontos?
Mivel az energiafogyasztás kritikus kihívás az LLM-ek skálázásakor, a BitNet b1.58 egy olyan új megközelítést mutat be, amely lehetővé teszi az AI rendszerek szélesebb körű bevezetését a teljesítmény megőrzése és az energiahatékonyság drasztikus javítása mellett. ---