Computer-Use Agent (Cua) macOS virtuális gépek vezérléséhez
Az OpenAI számítógép-használati modelljének futtatása sokkal egyszerűbbé vált. Egy új, open-source csomag, a Computer-Use Agent (Cua) lehetővé teszi az OpenAI computer-use-preview modelljének futtatását egy teljes értékű macOS virtuális gépen belül. Eddig az OpenAI számítógép-használati modelljének használata korlátozott API-kkal vagy böngészőalapú sandboxokkal (mint például a ChatGPT Operator) való munkát jelentett. A Cua a motorháztető alatt az Apple Virtualization frameworkjét használja macOS VM-ek indítására Apple Siliconon, és egy eseményhurkot futtat, amely kattintásokat, gépelést, görgetést és még sok mást kezel – mindezt az OpenAI strukturált válaszai alapján. A Cua segítségével olyan AI ügynököt építhet, amely asztali és böngésző alkalmazások között iktatja kiadásait – mozogva az Excel, Chrome és rendszer párbeszédablakok között –, vagy elindíthat egy önjavító QA botot, amely telepíti a macOS alkalmazását, navigál a UI-ján, és automatikusan jelenti a hibákat. Ha OS-szintű ügynökökkel, GUI automatizálással vagy megerősítéses tanulással kísérletezik valós UI-kon, a Cua biztosítja a hiányzó infrastruktúrát.
- Interakció natív alkalmazásokkal, mint a Finder, Terminal és Final Cut Pro
- Valós asztali munkafolyamatok automatizálása, nem csupán webes feladatoké
- Mindent helyben futtat a jobb adatvédelem és ellenőrzés érdekében
- Elkerülhető a képernyőképek, műveletek és VM interfészek manuális összekapcsolásának nehézsége