MI Történik?

A Google DeepMind, a Mila, a Montreali Egyetem, az Oxfordi Egyetem és a McGill Egyetem kutatói rájöttek, hogyan integrálják a Mixture-of-Expert (MoE) modelleket megerősítéses tanulást (RL) végző ágensekkel. Ez lehetővé teheti, hogy az RL ágensek (például azok, amelyek videojátékokat tanulnak játszani, vagy forgalomirányítást optimalizálnak városokban) alkalmassá váljanak ugyanarra a számításigényes skálázásra, ami a nyelvi modelleket is olyan kiválóvá tette. Mit tettek: A kutatók bemutatták, hogyan lehet a Mixture-of-Experts egy változatát – a Soft MoE-kat – jól működésre bírni két szabványos RL architektúrával, a DeepMind DQN és Rainbow megközelítéseivel. A tesztek során kimutatták, hogy „a Soft MoE egyértelmű teljesítménynövekedést biztosít, és ez a nyereség a szakértők számával együtt növekszik; például a Rainbow esetében a szakértők számának 1-ről 8-ra emelése 20%-os teljesítményjavulást eredményezett.” Ez azt jelenti, hogy „az MoE-k általánosan előnyösebb szerepet játszhatnak a mély RL ágensek tanításában”, és valószínűleg megkönnyítik az RL rendszerek skálázását. „Munkánk empirikusan bizonyítja, hogy az MoE-k jótékony hatással vannak az értékalapú ágensek teljesítményére különböző tanítási rendszerekben” – írják.