A PrismML elindította az 1-bites 8B modellt, amely elfér egy iPhone-on
A PrismML bemutatta az 1-bites Bonsai-t, egy 8B paraméteres modellt, amelyet mindössze 1,15 GB-ra tömörítettek – így 14-szer kisebb társainál. Ez az extrém tömörítés lehetővé teszi, hogy egy magas paraméterszámú modell helyileg, lenyűgöző sebességgel fusson mobil hardvereken. A kis méret ellenére versenyképes marad a teljes precizitású 8B modellekkel a standard benchmarkokon.
- A modell 40 token/mp sebességgel fut iPhone-on.
- Egy RTX 4090-en a sebessége eléri a 440 token/mp-et.
- A 8B paraméteres modellt mindössze 1,15 GB helyre zsúfolták be.
- A súlyok ingyenesen elérhetőek a Hugging Face-en.
Kapcsolódó hírek
A Z.ai bemutatja az open-source GLM-4.6V Vision-Language Modellcsaládot
2025. december 11.