Az AI21 nyílt forráskódúvá tette a Jamba-t, a hibrid Mamba SSM-Transformer modellt
Az AI21 nyílt forráskódúvá tette a Jamba-t, egy úttörő modellt, amely ötvözi a Mamba Structured State Space (SSM) architektúrát a hagyományos Transformer rétegekkel. Ez a hibrid kialakítás lehetővé teszi a Jamba számára, hogy hatalmas, 256K méretű kontextusablakot támogasson, miközben jelentősen magasabb hatékonyságot kínál. A Mamba architektúra alkalmazásával a Jamba háromszoros átviteli sebességet ér el hosszú kontextusok esetén a standard Transformer modellekhez képest.
- Újszerű, hibrid Mamba SSM és Transformer architektúrát használ
- Kiterjedt, 256K-s kontextusablakot támogat
- Háromszoros átviteli sebességet biztosít a hosszú formátumú tartalomfeldolgozáshoz
Miért fontos?
A Jamba megoldást kínál a hagyományos Transformerek hatékonysági szűk keresztmetszeteire, skálázható alternatívát nyújtva a nagyon nagy adatkészletek és hosszú dokumentumok feldolgozásához. ---
Kapcsolódó hírek
A DeepSeek V3 csúcskategóriás open-source kihívóként jelent meg
2025. január 6.
A Hugging Face kiadta a Zephyr és a Distil-Whisper open-source modelleket
2023. november 12.