A T-Rex robotrendszer javítja a tapintási ügyességet
Az Nvidia és az UC-Berkeley kutatói bemutatták a T-Rexet, egy olyan robotmanipulációs rendszert, amelyet a tapintásra történő valós idejű reakcióra terveztek. Az architektúra egy „mixture-of-experts” transzformátort alkalmaz, amely a vezérlést egy lassú vizuális tervezési folyamatra és egy gyors tapintási finomítási folyamatra osztja. Ez lehetővé teszi a robotok számára, hogy ezredmásodperces sebességgel állítsák be a fogási erőt vagy manipulálják a deformálható tárgyakat. A rendszert egy 100 órás adathalmazon képezték ki, amely háztartási tárgyakat párosított motoros primitívekkel. 12 valós környezetben végzett teszt során a T-Rex több mint 30 százalékkal felülmúlta a legerősebb alapmodellt az átlagos sikerességi arány tekintetében.
- Mixture-of-experts transzformátor architektúrát használ.
- Valós idejű tapintási finomítással rendelkezik az ezredmásodperces korrekciókhoz.
- 100 órányi kétkezes robotadatokon tanították.
- Körülbelül 50 órányi tanítóadatot nyílttá tett (open-source).
Figyelemre méltó, hogy a tapintási érzékelés egyszerű hozzáadása egy meglévő látás-nyelv-cselekvés modellhez rontotta, nem pedig javította a teljesítményt, ami arra utal, hogy az elsődleges innováció nem a tapintási adatok hozzáadása, hanem annak megtervezése, hogy a robot hogyan és mikor figyel azokra.