A Mistral kiadta a Codestral-Mamba 7B-t a hatékony kódgeneráláshoz
A Mistral a Mamba architektúra készítőivel együttműködve megjelentette a Codestral-Mamba 7B-t. Ezt a modellt a saját méretkategóriájában a legerősebb kódmodellnek tervezték, és kereskedelmileg megengedő licenc alatt adták ki. A hagyományos Transformer helyett állapottér-modell (SSM) architektúrát használ, ami eltérő teljesítményjellemzőket tesz lehetővé hosszú kontextusú forgatókönyvek esetén.
- 7B paraméteres modellméret
- 256k-s kontextusablakkal rendelkezik
- Kereskedelmileg megengedő licenc alatt került kiadásra
- Mamba architektúrára épül a szekvenciahossz szerinti lineáris skálázódás érdekében
Miért fontos?
Ez a kiadás jelentős előrelépést képvisel a nem-Transformer architektúrát használó kódmodellek terén; hatalmas kontextusablakot kínál, amely képes a kiterjedt kódbázisok hatékonyabb feldolgozására és megértésére. ---
Kapcsolódó hírek
Az Apple bemutatja a Ferret-UI 2-t az automatizált mobil- és webes feladatvégrehajtáshoz
2024. október 31.
A Runway bemutatja az Act-One eszközt a kifejező karakteranimációkhoz
2024. október 24.