A Meta kiadta a kvantált Llama 3.2 modelleket mobil eszközökre
A Meta megjelentette első kvantált Llama 3.2 modelljeit, tömörített 1B és 3B paraméteres verziókat kínálva, amelyeket okostelefonokon való natív futtatásra terveztek. A kvantálás alkalmazásával a modellek kisebbé és gyorsabbá váltak jelentős teljesítményvesztés nélkül, így a Meta lehetővé teszi az erőteljes generatív AI funkciókat közvetlenül az edge hardvereken. Ezek a modellek már letölthetők és integrálhatók mobilalkalmazásokba.
- Az 1B és 3B modellek elég kicsik ahhoz, hogy felhőkapcsolat nélkül, az eszközön fussanak.
- A kvantálás csökkenti a memóriahasználatot és növeli a modellek generálási sebességét.
- Ez a kiadás azokat a fejlesztőket célozza meg, akik privát, alacsony késleltetésű AI funkciókat szeretnének építeni mobilfelhasználók számára.
Miért fontos?
Az eszközön futó AI csökkenti a késleltetést, javítja az adatvédelmet és mérsékli az AI alkalmazások futtatási költségeit a drága szerveroldali feldolgozás szükségességének megszüntetésével.
Kapcsolódó hírek