NYELVI MODELLEK
Az AI21 bemutatta a Jamba-1.5 hibrid Transformer-Mamba nyílt modelleket
Az AI21 közzétette a Jamba-1.5 technikai jelentését, amely egy hibrid Transformer-Mamba nyílt modellcsalád. Ezek a modellek akár 94 milliárd paraméterrel rendelkeznek, és 256 ezer tokenes kontextusablakot támogatnak, miközben magas áteresztőképességet és alacsony memóriahasználatot kínálnak.
- Hibrid Transformer-Mamba architektúra
- Akár 94 milliárd paraméteres modellméretek
- 256 ezer tokenes kontextusablak támogatása
- Magas áteresztőképesség (throughput) alacsony memóriaigény mellett
- Felülmúlja a meglévő nyílt súlyú modelleket a teljesítményteszteken