Látásalapú AI
A Berkeley és az UIUC kifejlesztette a DigiRL-t az autonóm GUI-vezérléshez
A Berkeley és az UIUC kutatói bemutatták a DigiRL-t, egy új reinforcement learning megközelítést, amelyet a vizuális nyelvi modellek autonóm feladatvégrehajtásra való finomhangolására terveztek. A keretrendszer az AI-ágensek valódi grafikus felhasználói felületekkel (GUI) való interakciójának és vezérlésének javítására összpontosít.
- 49%-os javulást ért el a valós GUI-k vezérlésében a statikus tanításhoz képest
- Autonóm reinforcement learning folyamatot alkalmaz
- Megoldást kínál a látásalapú ágensek hagyományos viselkedés-klónozásának (behavioral cloning) korlátaira
- Javítja az ágensek általánosíthatóságát a különböző szoftverkörnyezetekben