A PowerInfer-2 keretrendszer nagy sebességű LLM inference-t tesz lehetővé okostelefonokon
Kutatók bemutatták a PowerInfer-2-t, egy okostelefonokra tervezett, optimalizált inference keretrendszert. A rendszer támogatja a Mixtral 47B modelleket másodpercenként 11 token sebességgel, ami 22-szer gyorsabb a jelenlegi megoldásoknál.
- Kifejezetten mobilkészülékeken történő inference-re optimalizálva
- Támogatja a nagy méretű modelleket, mint például a Mixtral 47B-t
- Másodpercenként 11 tokenes feldolgozási sebességet ér el
- 22-szer gyorsabb a jelenlegi okostelefonos inference keretrendszereknél
Kapcsolódó hírek
Az Apple bemutatja a GSM-Symbolic benchmarkot az LLM-ek matematikai érvelésének értékelésére
2024. október 17.