AI MODELLEK
Az Adept kiadta a nagy teljesítményű, megengedő licencű Persimmon-8B nyelvi modellt
Az Adept AI startup kiadta a Persimmon-8B-t, amelyet „a 8B kategória legjobb, teljesen megengedő licencű modelljének” nevez. A modell 16 ezer tokenes kontextusablakkal rendelkezik, teljesítménye pedig meghaladja a többi hasonló méretű 8B modellt, és esetenként a Facebook LLaMA2 modelljeivel is vetekszik, annak ellenére, hogy kevesebb adaton tanították.
„A 8B méret az arany középút a legtöbb felhasználó számára, akik nem rendelkeznek nagy kapacitású számítási erőforrásokkal – egyetlen GPU-n finomhangolhatók, elfogadható sebességgel futnak modern MacBookokon, és akár mobileszközökön is elférnek” – írja az Adept. „Az általunk a modellel együtt kiadott inferencia kód egyedülálló – ötvözi a C++ implementációk (pl. FasterTransformer) sebességét a natív Python rugalmasságával.”
Mivel ez egy nyers modellkiadás, az Adept nem alkalmazott további finomhangolást, utófeldolgozást vagy mintavételi stratégiákat a toxikus kimenetek korlátozására, és nyíltan vállalja a biztonsági beavatkozások hiányát.
- A modell 16 ezer tokenes kontextusablakkal és teljesen megengedő licenccel rendelkezik.
- Teljesítménye eléri vagy meghaladja a hasonló méretű LLaMA2 modellekét, annak ellenére, hogy kevesebb tanítási adatot használtak fel.
- Az inferencia kód a C++ sebességére és a Python rugalmasságára egyaránt optimalizált.
- Elég kicsi ahhoz, hogy egyetlen GPU-n finomhangolják, vagy olyan lakossági hardvereken fusson, mint a MacBookok vagy mobileszközök.
Miért fontos?
Napjainkban a nagyméretű nyelvi modellek izgalmas eszközök, amelyeket a világ minden táján használnak, de ezen modellek puszta mérete azt jelenti, hogy komoly hardverre van szükség már a futtatásukhoz is. Ezzel szemben a 8B méretű modellek mindenféle módon optimalizálhatók, és általában könnyen elférnek egyetlen GPU-n. A Persimmon-8B-hez hasonló modellek széles körben el fognak terjedni a világon, kis méretük és hordozhatóságuk pedig azt jelenti, hogy mindenféle meglepő módon fogják használni őket. ---