Az OSWORLD 2.0 benchmark többórás számítógépes feladatokon teszteli az AI-t

Az AI-fejlesztés egyik legizgalmasabb határterülete a valódi, számítógépes munkavégzés képességének megszerzése, amelyben mérföldkőnek számít az OSWORLD 2.0 benchmark megjelenése. Egy nemzetközi kutatócsoport által életre hívott új mérce arra hivatott, hogy az AI-ágensek teljesítményét ne csak néhány másodperces vagy perces feladatokon keresztül vizsgálja, hanem valós, többórás, komplex folyamatokban is tesztelje. Míg a korábbi megoldásoknál a kétperces medián időtartam volt a jellemző, az OSWORLD 2.0 alaposan megemelte a lécet: a benne található 108 feladat egy képzett ember számára átlagosan 1,6 órát vesz igénybe. Ez az előrelépés rávilágít azokra a nehézségekre, amelyekkel a mai csúcsmodellek küzdenek, különösen az állapot-visszaállítás és a hosszú távú, többprogramos környezetben történő nyomon követés terén.

A benchmark professzionális szoftverek és webhelyek széles skáláját vonultatja fel, köztük olyan kritikus munkaeszközöket, mint a Slack, az AWS, a GitLab, vagy az Overleaf, emellett 31 saját gazdagépű weboldalt is tartalmaz. A feladatok összetettségét jól mutatja, hogy a résztvevők 69,6 százaléka több mint egy órát igényel egy emberi szakértőtől. A jelenlegi eredmények szerint még a legfejlettebb modellek is jelentős kihívásokkal küzdenek, hiszen a Claude Opus 4.8 mindössze 20,6 százalékos bináris pontosságot ért el a tesztek során. Ez az alacsony szám azonban nem feltétlenül a technológia kudarcát jelzi, hanem a feladatok drasztikus nehézségi szintjét, és azt a fejlődési potenciált, amely a jövőbeli fejlesztések előtt áll.

Hogy miért is bír ekkora jelentőséggel ez az új mérce? A számítógép-használat az a fundamentális készség, amely képessé teheti az AI-t arra, hogy valóban gazdaságilag értékes, összetett folyamatokat hajtson végre, és aktívan részt vegyen komplex tudományos kutatásokban. A korábbi adatok optimizmusra adnak okot: az OSWORLD 1.0 esetében a modellek pontossága a 2025-ös 30 százalékról 2026 júniusára 75 százalékra ugrott, ami hasonlóan gyors fejlődést vetít előre a mostani, nehezített 2.0-s verzió esetében is. A szakemberek szerint bár az AI már kompetenssé vált a szűkebb szoftverkészletet igénylő feladatokban, a következő nagy technológiai áttörést az fogja jelenteni, amikor ezek a rendszerek képesek lesznek órákon át tartó, sokszereplős szoftverkörnyezetekben is önállóan, megbízhatóan navigálni és eredményeket elérni.