Az Upstage bemutatja a SOLAR 10.7B-t az újszerű Depth Up-Scaling technológiával
A koreai AI startup, az Upstage bemutatta a SOLAR 10.7B-t, egy olyan modellt, amely a Depth Up-Scaling nevű technikát alkalmazza. Ez a megközelítés lehetővé teszi, hogy a modell túlszárnyalja a nála sokkal nagyobb versenytársakat a természetes nyelvfeldolgozási feladatokban, anélkül a komplexitás nélkül, amit a Mixture of Experts (MoE) skálázás igényelne.
- Felülmúlja a nagyobb modelleket a természetes nyelvfeldolgozási teljesítményben.
- Előkelő helyezéseket ért el a Hugging Face Open LLM ranglistáján.
- Depth Up-Scaling technológiát használ a hatékonyság megőrzésére a modell képességeinek növelése mellett.
Kapcsolódó hírek
A Microsoft kiadta az open-source Phi 3.5 AI modelleket a skálázható logikai következtetéshez
2024. szeptember 8.
Az AI21 elindította a Jamba modellcsaládot iparágvezető 256k-s kontextusablakkal
2024. szeptember 8.