MI Történik?

A Facebook, a University of Michigan és a University of Pennsylvania kutatói egy olyan kesztyűt fejlesztettek ki, amelyet emberek és robotok is használhatnak fizikai tárgyak manipulálásakor adatok gyűjtésére. A kutatók közzétették a terv részleteit is, hogy mások is lemásolhassák. A kesztyű neve OSMO, ami egy "kínzott" akronim, az "Open Source tactile glove for huMan-to-robOt skill transfer" rövidítése. Az OSMO „egy vékony, hordható tapintási kesztyű, amely lehetővé teszi a valós körülmények közötti emberi demonstrációkat, miközben megőrzi a természetes interakciót és gazdag kontaktinformációkat rögzít” – írják. „Az OSMO széles körben kompatibilis a legmodernebb kézkövető rendszerekkel is a kulcsfontosságú kéztartás adatok rögzítéséhez,” beleértve az Aria 2 okosszemüveget és a Meta Quest 3-at, valamint a Manus Quantum kézkövető kesztyűt, és a kereskedelmi forgalomban kapható látásmodelleket, mint a HaMeR és a Dyn-HaMR. Mire jó az OSMO? Az OSMO egy olyan kihívásra ad megoldást, amely a robotok nehéz feladatokra való képzésével kapcsolatos – ha egy csomó adatot gyűjtünk egy ember első személyű nézőpontjából egy feladat végrehajtásakor, hogyan lehet ezt átvinni egy robotra, figyelembe véve, hogy a kezeik/megfogóik másképp néznek ki? A válasz az, hogy valami hasonló vizuális megjelenésű és szenzorokkal rendelkező eszközt használjunk, itt jön képbe az OSMO. A kesztyű „megosztott interfészként való használatával áthidaljuk az emberi demonstrátor és a robot közötti vizuális-tapintási szakadékot azáltal, hogy egy kontaktusban gazdag manipulációs feladathoz egy irányelvet képzünk, kizárólag emberi demonstrációk felhasználásával, robotadatok nélkül” – írják. Jól működik: A tesztek során a szerzők bebizonyították, hogy kizárólag emberi demonstrációkból (az OSMO használatával) képesek adatokat gyűjteni, majd sokkal nagyobb sikerrel átvinni azokat egy robotra, mint a kesztyűt nem használó módszerekkel. „Az OSMO kesztyűvel kizárólag emberi demonstrációkon képzett irányelvek sikeresen átadják a folyamatos tapintási visszajelzést, és felülmúlják a csak látáson alapuló baseline-okat azáltal, hogy kiküszöbölik a kontaktushoz kapcsolódó hibákat. Az emberi demonstrátor és a robot telepítése közötti megosztott kesztyűplatform minimalizálja a vizuális domain eltérést, elkerülve az image inpainting szükségességét.”