A Prime Intellect közzétette az INTELLECT-1-et a legnagyobb nyilvános elosztott tanítási folyamat után
A Prime Intellect nevű AI startup betanította és megjelentette az INTELLECT-1-et, egy 10 milliárd paraméteres modellt, amelyet decentralizált módon képeztek ki. Ez megmutatja, hogyan képes különböző országokban lévő emberek és szervezetek egy csoportja összevonni a számítási kapacitását egyetlen modell tanításához. Bár az INTELLECT-1 kicsi a piacvezető modellekhez képest (pl. 10 milliárd paraméter és 1 billió token), tízszer nagyobb, mint a korábban tanított decentralizált modellek. Ami a legfontosabb: azzal, hogy bebizonyították a működőképességét ezen a skálán, a Prime Intellect nagyobb figyelmet irányít az AI kutatás ezen rendkívül fontos és eddig kiaknázatlan területére. Fontos megjegyzés azonban, hogy semmi sincs ingyen – a modellek elosztott módon történő tanítása rontja az egyes GPU-k kihasználtsági hatékonyságát a folyamat során. Az INTELLECT-1 megjelenésével párhuzamosan nyílt forráskódúvá tették a PRIME-ot is, amely egy skálázható, elosztott tanítási keretrendszer. Ezt hibatűrő, nagy teljesítményű tanításra tervezték megbízhatatlan, globálisan elosztott, alacsony sávszélességű csomópontokon.
- Kommunikáció nélküli alap tanítási konfiguráció 43%-os MFU-t ér el.
- A hatékonyság 41,4%-ra csökken csak az USA-ra kiterjedő elosztásnál, és 36,2%-ra globális környezetben.
- Az INTELLECT-1 37,5-ös pontszámot ért el az MMLU teszten, megelőzve a LLaMa-7B-t (35,1).
- Az INTELLECT-1-INSTRUCT 49,89-et ért el az MMLU-n és 38,58-at a GSM8K teszten.
- A jövőbeli munka a modellsorozat skálázására összpontosít jelentősen nagyobb számítási költségvetéssel és új architektúrális megoldásokkal.
Miért fontos?
Ma az AI fejlődésére azoknak van befolyása, akik elég tőkéhez férnek hozzá ahhoz, hogy elegendő számítógépet vásároljanak a legfejlettebb modellek tanításához. Az elosztott tanítás ezen változtathat, lehetővé téve közösségek számára, hogy erőforrásaikat egyesítve versenyezzenek az óriásokkal. Ami talán még ennél is fontosabb: az elosztott tanítás véleményem szerint számos AI-politikai intézkedést megnehezít, például a számítási kapacitás nyomon követését vagy az exportkorlátozások betartatását. ---