A Google DeepMind belső nézetű látásmód segítségével tanítja focizni a robotokat
A Google DeepMind kutatói megtanítottak néhány kisméretű robotot focizni belső nézetű (egocentrikus) videók alapján. Ami még lenyűgözőbb, hogy ezt teljesen szimulációban érték el, majd az ágenseket átültették valós robotokba, amelyek képesek 1v1 focit játszani egymás ellen. A robotok egy erősen pixeles képet kapnak az előttük lévő világról, és ennek ellenére képesek automatikusan elsajátítani számos összetett viselkedésformát. Ezek az ágensek reziduális hálózatokat (ResNet) használnak, amelyek egy LSTM-be csatlakoznak a memória érdekében, a manapság elterjedtebb Transformer architektúra helyett.
Az ágenseket tisztán szimulációban tanították, és összehangolták a valós környezettel a zero-shot transfer lehetővé tétele érdekében. Szimulációban a kamerakép a statikus jelenet NeRF-rendereléséből áll, amelyre dinamikus objektumok vannak ráhelyezve. A valós világban az ágensek egy fejre szerelt RGB kamerából érkező, 40 x 30-as felbontásra lekicsinyített képeket kapnak.
- Tisztán szimulációban tanítva, zero-shot transferrel a valódi robotokra
- Az ágensek rendkívül alacsony felbontású (40x30) egocentrikus képekkel dolgoznak
- A kialakuló viselkedések közé tartozik a labda keresése, a küzdelem a labdáért és a lövések blokkolása
- Az architektúra Transformer helyett ResNet-et és LSTM-et használ
- Kétlépcsős képzés: egyéni szakértői tréning, majd lepárlás (distillation) és kompetitív önálló játék (self-play)
A korlátok kreativitásra kényszerítenek, a kreativitás pedig összefügg az intelligenciával: Ezt a mintát újra és újra láthatjuk – hozzunk létre egy tanulásra képes neurális hálót, adjunk neki egy feladatot, majd állítsunk elé korlátokat – ebben az esetben a gyenge minőségű belső nézetű látást. Ennek eredményeként a rendszernek rövidítéseket és trükköket kell kifejlesztenie a korlátok megkerülésére, amiből meglepő viselkedésmódok emelkednek ki. ---