Műholdak TinyIceNet-et telepítenek az alacsony fogyasztású sarkvidéki tengeri jégvastagság monitorozásához
- Mi az a TinyIceNet? A modell egy kis méretű vision modell, amelynek feladata, hogy Synthetic Aperture Radar (SAR) adatokat vegyen fel a sarkvidéki és más hideg régiókból, majd jellemezze a jég vastagságát és érettségét a SAR adatokon belül. Az ötlet az, hogy ez az on-device feldolgozás nagyon hatékony lenne – „Ahelyett, hogy hatalmas mennyiségű nyers képet töltenének le, a műholdak közel valós időben generálhatnak SOD termékeket”.
- Hogyan építették: A TinyIceNet egy egyszerűsített U-net architektúrájú vision modell, amelyet az AI4Arctic dataseten képeztek. Ez az adatkészlet ~533 netCDF fájlt tartalmaz, amelyek mindegyike SAR képeket tartalmaz, amelyekhez egy térkép társul, jelezve a tengeri jég típusát és vastagságát. A szerzők gondosan úgy tervezték a modellt, hogy az egy viszonylag kis computational envelopbe illeszkedjen egy Xilinx chipen.
- Konkrétan egy „AMD Xilinx ZCU102 evaluation boardot” használnak, amely „integrálja a ZCU9EG SoC-t, egy négymagos ARM Cortex-A53 processzort FPGA szövetekkel kombinálva, High-Level Synthesis (HLS) és a DeepEdgeSoC framework felhasználásával”. A DeepEdgeSoC toolchain-t használják a modell hatékonyságának további javítására, mivel a szoftver „moduláris C++ building blockok (pl. convolutions, pooling, activation functions, és feature map bufferek) könyvtárát biztosítja, amelyek compile time-ban C++ template paraméterekkel specializálhatók”.
- A TinyIceNet-et 500 iteráción keresztül képezték egyetlen GeForce RTX 4090 GPU-n, PyTorch 2.4-et és CUDA 12.5 támogatást használva.
- Eredmények: A szerzők 3 hardware platformon tesztelték a modellt:
- RTX 4090: „A legmagasabb throughputot nyújtja 764,8 fps-sel, kihasználva nagyszámú CUDA magját és nagy memory bandwidth-ét. Ez a performance azonban viszonylag magas, 228,7 mJ/scene energiaköltséggel jár, ami alkalmatlanná teszi power-constrained környezetekben, például műholdakon.”
- Jetson AGX Xavier: „47,9 fps-t ér el, de a legmagasabb energy consumption-t mutatja (1218,5 mJ).”
- Xilinx ZCU102 FPGA: „Alacsonyabb, 7 fps throughputot ér el, mégis rendkívül versenyképes energy profile-t kínál, mindössze 113,6 mJ/scene fogyasztásával. Az alacsonyabb frame rate ellenére ez az energy efficiency vonzóvá teszi az FPGA implementációt az on-board műholdas processinghez, ahol a power availability súlyosan korlátozott”.
Miért fontos ez – a jövőben az AI rendszerek automatikusan elvégzik ezeket a feladatokat: Ennek a kutatásnak az a lenyűgöző része, hogy triviálisnak tűnik (nem akarom megbántani a szerzőket) egy modern, nagy teljesítményű AI rendszer számára, hogy ezt megtegye: mindössze annyi kellett hozzá, hogy kitaláljanak egy feladatot (egy computer vision modellt egy kis computational envelopbe „gyömöszölni”), majd futtassanak néhány kísérletet egy meglévő architektúra felhasználásával, finomhangolva azt egy hardware platformhoz, betanítva egy dataseten, majd futtatva néhány tesztet. Néhány éven belül arra számíthatunk, hogy az AI agentek maguk fogják elvégezni ezeket a feladatokat, beszerzik a compute erőforrásokat, hogy lehetővé tegyék számukra kis AI rendszerek fejlesztését és elosztását tetszőleges compute platformokra tetszőleges célokra. Ez az egyik fő módja annak, ahogyan szerintem hirtelen exponenciális fellendülés tapasztalható az AI-nak tulajdonítható gazdasági tevékenységben – az AI rendszerek elég intelligensekké válnak ahhoz, hogy drámaian javítsák képességüket a fizikai világ megismerésére és azzal való interakcióra egyedi „edge computing” AI rendszerek létrehozásán keresztül, amelyek jobb sensory data-kat és aktuátorokat biztosítanak számukra. ---