** AI KUTATÁS
** A DeepMind Streaming DiLoCo megoldása századrészére csökkenti az elosztott tanítás sávszélesség-igényét
** Az elmúlt években számos kutató fordította figyelmét az elosztott tanítás felé – ez az az elképzelés, amely szerint a nagy teljesítményű AI rendszereket nem egyetlen hatalmas adatközpontban, hanem több, egymástól távol eső adatközpont között megosztva tanítják. Ez egy fontos koncepció komoly következményekkel: sok AI irányelv feltételezi, hogy az AI fejlesztésének ellenőrzése a nagyméretű adatközpontok és a felhőalapú környezetekben lévő számítási kapacitás megfigyelésén múlik. Az elosztott tanítási módszerek megdöntik ezt a feltételezést, lehetővé téve, hogy nagy teljesítményű rendszerek akár egymással együttműködő számítógépek laza szövetségéből is felépülhessenek.
A DeepMind új kutatása továbbviszi ezt az ötletet a már korábban publikált „DiLoCo” megközelítésre építve. Az új kutatás – a Streaming DiLoCo – lehetővé teszi a milliárdos paraméterszámú modellek elosztott tanítását a korábbival megegyező minőségben, miközben a szükséges sávszélességet két nagyságrenddel csökkenti. A tesztek során a kutatók kimutatták, hogy az új technika „egyértelműen felülmúlja az eredeti DiLoCo-t”. A DiLoCo-ra érdemes odafigyelni – a Prime Intellect 10 milliárd paraméteres „INTELLECT-1” modelljét is elosztott módon, a DeepMind DiLoCo módszerének nyílt forráskódú változatával, az OpenDiLoCo-val tanították.
**
- **
- Sorrendben csak a paraméterek részhalmazait szinkronizálja, hogy csökkentse a csúcs sávszélesség-fogyasztást.
- Lehetővé teszi, hogy a munkafolyamatok a szinkronizálás alatt is folytatódjanak, kiküszöbölve az állásidőt.
- A csomópontok által cserélt adatokat 4-bites precizitásra kvantálja a sávszélesség további csökkentése érdekében.
- Az 1 milliárd, 10 milliárd és 100 milliárd paraméteres skálákon végzett szimulációk azt mutatják, hogy a Streaming DiLoCo következetesen hatékonyabb az eredeti verziónál.
- A Chinchilla-típusú, legfeljebb 4 milliárd paraméteres modelleken végzett valós tesztek nagyjából azonos eredményeket hoztak alacsonyabb sávszélesség mellett.
- **
Miért fontos?
** El tudok képzelni egy olyan jövőt, ahol ezer különböző „elme” fejlődik, melyek mindegyike ezer vagy több, egymástól távol lévő számítógépben gyökerezik, titokban cserélve információt egymással, az AI szabályozási rendszerek megfigyelési küszöbe alatt. Úgy tűnik, ez a forgatókönyv alapértelmezés szerint meg fog valósulni, annak ellenére, hogy számos kényelmetlenséget okoz a technológia kontrollálására törekvő politikai megközelítések számára. ---