AI MODELS
Az IBM bemutatta a hiper-hatékony Granite 4.0 hibrid modellcsaládot
Az IBM kiadta a teljes Granite 4.0 palettáját, amely új hibrid Mamba/Transformer architektúrával rendelkezik. Ezt a hibrid kialakítást kifejezetten az ágens alapú AI munkafolyamatok – például az utasításkövetés és a funkcióhívás – nagy teljesítményű kiszolgálására tervezték. A modellek Apache 2.0 licenc alatt jelennek meg, hangsúlyozva az open-source elérhetőséget és az átláthatóságot. A család különböző méreteket tartalmaz, beleértve a „Nano” modelleket is, amelyek elég kicsik ahhoz, hogy telepítés nélkül, helyben fussanak egy böngészőben.
- A hibrid architektúra több mint 70%-kal alacsonyabb memóriigényt biztosít a standard modellekhez képest.
- A modellek kétszer gyorsabb következtetési (inference) sebességet nyújtanak.
- Az elérhető méretek a Small-tól (32B összesen/9B aktív) a Micro-ig (3B sűrű) terjednek.
- A Granite 4.0 Nano modellek (1B és 350M paraméter) másodpercenként 90 tokent képesek feldolgozni mobileszközökön.
- A modellek túlszárnyalták az olyan versenytársakat, mint a Qwen és a Gemma a matematikai, kódolási és biztonsági benchmarkokon.
Miért fontos?
Miért fontos: A hibrid SSM-Transformer architektúrák átvétele jelentős technikai lépést jelent a nagyléptékű AI-képességek elérhetővé tételében az edge-eszközökön és a szabványos fogyasztói hardvereken. ---