KIEMELT HÍREK
A Mistral kiadta a Codestral-Mamba 7B-t a hatékony kódgeneráláshoz
A Mistral a Mamba architektúra készítőivel együttműködve megjelentette a Codestral-Mamba 7B-t. Ezt a modellt a saját méretkategóriájában a legerősebb kódmodellnek tervezték, és kereskedelmileg megengedő licenc alatt adták ki. A hagyományos Transformer helyett állapottér-modell (SSM) architektúrát használ, ami eltérő teljesítményjellemzőket tesz lehetővé hosszú kontextusú forgatókönyvek esetén.
- 7B paraméteres modellméret
- 256k-s kontextusablakkal rendelkezik
- Kereskedelmileg megengedő licenc alatt került kiadásra
- Mamba architektúrára épül a szekvenciahossz szerinti lineáris skálázódás érdekében
Miért fontos?
Ez a kiadás jelentős előrelépést képvisel a nem-Transformer architektúrát használó kódmodellek terén; hatalmas kontextusablakot kínál, amely képes a kiterjedt kódbázisok hatékonyabb feldolgozására és megértésére. ---