A kutatók TinyissimoYOLO-val felszerelt okosszemüveget építettek az eszközön történő tárgyfelismeréshez
Az ETH Zurich és a University of Bologna kutatói egy olyan okosszemüveg-prototípust fejlesztettek ki, amely egy miniatürizált YOLO modell segítségével végez helyi tárgyfelismerést. A projekt egy teljes körű példaként szolgál a modern hardver és az optimalizált szoftver összehangolására az edge AI területén. Egy apró hálózatot telepítve egy chiprendszeren (system-on-chip) belüli ML gyorsítóra, a csapat valós idejű tárgyfelismerést ért el külső felhőalapú feldolgozás nélkül.
- A kutatók létrehozták a „TinyissimoYOLO” modellt, amely mindössze néhány százezer paraméterrel rendelkezik.
- A modellt a Greenwaves Technologies GAP9 rendszerchipjére telepítették.
- A rendszer 56 ms-os feldolgozási ciklust ér el, ami nagyjából 18 képkockát jelent másodpercenként.
- Az eszközön történő feldolgozás alacsonyabb késleltetést és jobb adatvédelmet biztosít a hordható eszközök számára.
Az ehhez hasonló tanulmányok rávilágítanak arra, hogy egyre könnyebb a kortárs AI rendszereket nagyon szűkös energia- és számítási korlátokkal rendelkező eszközökhöz igazítani. Valószínűleg csak pár évre vagyunk attól, hogy jó minőségű, eszközön futó vision-language modellekkel rendelkezzünk, ami azt jelenti, hogy a következő okosszemüvegünk már saját, internetkapcsolatot nem igénylő világmodellel érkezhet.