A Visual Experience Dataset 200 órányi egocentrikus emberi tekintetkövetési adatot kínál
Kutatók széles körű együttműködésével megjelent a Visual Experience Dataset (VEDB), egy hatalmas adatbázis, amely 240 órányi egocentrikus videóból, valamint hozzá tartozó tekintet- és fejkövetési adatokból áll. Az 58 megfigyelő – 6 és 49 év közötti személyek – által rögzített adatkészlet az emberi tevékenységek széles skáláját öleli fel a sétától és gördeszkázástól kezdve a házimunkán át az étkezésig. A COVID-19 világjárvány alatt indult projekt az emberi élet első személyű nézetét nyújtja, amely felhasználható a természetes környezeti statisztikák tanulmányozására és AI-rendszerek – például kétlábú robotok – tanítására, hogy jobban navigáljanak és értelmezzék az emberi környezetet.
- 717 munkamenetből áll, amelyeket 2020 és 2023 között rögzítettek.
- Tartalmaz első személyű egocentrikus videót, szemkövető videót a tekintetadatokhoz, és IMU adatokat (gyorsulásmérő és giroszkóp) a fejkövetéshez.
- Az American Time Use Survey (ATUS) 12 fő kategóriáját fedi le.
- Különböző beltéri és kültéri helyszíneket tartalmaz, aktív és ülő tevékenységekkel egyaránt.
Miért fontos?
Az ilyen adatkészleteket leginkább gépek fogják elemezni, és a tanításukra fogják használni őket. Van valami lenyűgöző abban a képben, ahogy egyes robotok először tanulnak meg minket megérteni ezen keresztül. ---