MI Történik?

A Stability AI, a nyílt forráskódú „Stable Diffusion” modellt világra bocsátó vállalat, megjelentetett egy 3 milliárd és egy 7 milliárd paraméteres nyelvi modellt StableLM néven. A Stability tervei szerint hamarosan 15 milliárdos és 65 milliárdos paraméterszámú modelleket is kiadnak. „A fejlesztők szabadon vizsgálhatják, használhatják és adaptálhatják StableLM alapmodelljeinket kereskedelmi vagy kutatási célokra, a CC BY-SA-4.0 licenc feltételei szerint.” Mi a különleges a StableLM-ben? Idén rengeteg nyílt forráskódú nyelvi modell jelent meg, a Dolly-2-től a Cerebras-GPT-n és az Eleuther Pythia modelljein át a Facebook laborjából kiszivárgott „LLaMa” modellig. A StableLM abban különbözik ezektől, hogy egy új adathalmazon tanították, amely 1,5 billió (trillion) tokennyi tartalommal bír, ami még nagyobb, mint az ebben a számban máshol említett 1,2 billió paraméteres adathalmaz (RedPajama). „Az adathalmazról a kellő időben közlünk részleteket. Az adathalmaz gazdagsága meglepően nagy teljesítményt kölcsönöz a StableLM-nek a társalgási és kódolási feladatokban, kis mérete, a 3-7 milliárd paraméter ellenére” – írja a Stability. A Stability kiadott néhány instrukciókövetésre finomhangolt modellt is – „ezek a finomhangolt modellek kizárólag kutatási használatra készültek, és nem kereskedelmi CC BY-NC-SA 4.0 licenc alatt érhetők el” – írta a vállalat.