Az új ARC-AGI-2 benchmark a készségek elsajátításában hívja ki az AI-t
Az Arc Prize Foundation bemutatta az ARC-AGI-2-t, egy új benchmarkot, amely azt méri, mennyire jól képes az AI új készségeket elsajátítani. Míg az emberek 100%-ot értek el a teszten, a legjobb reasoning modellek még a 4%-ot sem tudják túllépni. Ez azért van, mert a teszt nem a puszta memorizálást értékeli; ehelyett a modelleknek „legalább némi tudatos gondolkodásra” kell hagyatkozniuk a helyes válaszadáshoz.
- Az ARC-AGI-2 a készségek elsajátítására fókuszál az adatmemorizálás helyett.
- Az emberi tesztelők 100%-ot érnek el, míg a jelenlegi frontier AI modellek 4% alatt teljesítenek.
- A benchmark megköveteli a modellektől a tudatos gondolkodást az új típusú problémák megoldásához.
- --
Kapcsolódó hírek