DiG-bench: Egy új benchmark az AI felfedezőkészségének és kíváncsiságának mérésére

A mesterséges intelligencia fejlődésében az egyik legnehezebb feladat annak objektív mérése, hogy egy rendszer mennyire képes valódi kreativitásra és autonóm problémamegoldásra, ha ismeretlen tereppel találkozik. Erre a célra hozták létre a DiG-bench, azaz a Discovery in Games elnevezésű új benchmarkot, amely 70 különböző, interaktív, szövegalapú játékot tartalmaz. Az eszköz legfontosabb sajátossága, hogy a játékok szabályai és céljai teljesen rejtettek az AI számára, így a modelleknek a környezetükkel való interakció során kell kikövetkeztetniük a működési mechanikákat a siker érdekében. A vizuális ARC benchmark logikáját követve a DiG-bench a kíváncsiságot és a felfedezőkészséget teszteli, ami a kutatók szerint a valódi kreativitás egyik legfontosabb előfeltétele.

A benchmark egyik nagy erőssége, hogy a játékok kézzel készítettek és szigorúan titkosak, így az OpenAI, a Google vagy az Anthropic fejlesztői csapatai nem tudták a betanítási adatok közé becsempészni a megoldásokat, elkerülve a jól ismert adat-szennyeződést. Mivel a játékok szövegalapúak, könnyedén illeszkednek a mai frontier modellek kontextusablakaiba, így az LLM-ek közvetlenül képesek értelmezni és kezelni a feladatokat. A hét nehézségi szintre osztott kihívások közül már az elsőket is sikerrel abszolválták emberi szakértők, ám a szintek előrehaladtával a feladatok komplexitása drasztikusan nő. A jelenlegi mérések szerint a legfejlettebb modellek, mint például az Opus 5, a Fable 5 vagy a GPT-5.5, komoly akadályokba ütköznek a hetedik szinten, ahol a sikerességi arányuk mindössze 20 százalék körül mozog. Ez világosan mutatja, hogy bár az AI-rendszerek statisztikai alapon lenyűgözően teljesítenek, az új, dokumentálatlan helyzetekben történő logikai következtetés még mindig a legnagyobb technológiai korlátok közé tartozik.

A DiG-bench jelentősége messze túlmutat a puszta ranglisták készítésén. A teszt ugyanis izolált módon vizsgálja az autonóm információszerzés képességét, amely kritikus lépés a modellek rekurzív önfejlesztése felé vezető úton. Ha egy mesterséges intelligencia képes önállóan feltérképezni a világának íratlan szabályait és saját hibáiból tanulva új stratégiákat kidolgozni, az alapjaiban változtathatja meg a fejlesztési folyamatokat. A szakértők szerint ez a képesség elengedhetetlen ahhoz, hogy a gépek hatékonyan tudjanak operálni komplex, gyorsan változó környezetekben. A kutatók optimizmusát jelzi, hogy bár a modellek ma még nehezen küzdenek meg a bonyolultabb szintekkel, az emberi szintű teljesítmény elérését ezen a benchmarkon már 2027 közepére várják. A következő években tehát a fejlődés kulcsa nem feltétlenül az adatmennyiség növelése lesz, hanem az a típusú kognitív rugalmasság, amelyet a DiG-bench segítségével mostantól mérhetővé és számszerűsíthetővé tettek.