AI KUTATÁS
A Transformer architektúrák meta-tanulás révén emberi szintű szisztematikus generalizációt érnek el
Az NYU és a katalán Catalan Institution for Research and Advanced Studies kutatói megmutatták, hogy egy alapvető Transformer architektúra képes felvenni a versenyt az emberekkel az összetett szabályok kis mennyiségű adatból történő felismerésében. A Meta-learning for Compositionality (MLC) eljárást alkalmazva a neurális hálózatot emberekkel párhuzamosan értékelték few-shot kompozíciós feladatokban. A tanulmány bizonyítékot szolgáltat arra, hogy a neurális hálózatok képesek emberi szintű szisztematikus generalizációra, sőt, még az emberihez hasonló hibamintázatokat is produkálnak, amikor a viselkedés eltér a tisztán algebrai érveléstől.
- Az MLC optimalizálja a standard transformereket arra, hogy újszerű utasításokra válaszoljanak egy kis készletnyi példa alapján.
- Az értékelési feladat során színes körökből álló sorozatokat kellett generálni absztrakt nyelvi karakterláncokból (pl. „lug fep” = három kék kör).
- A résztvevőknek mindössze 14 példából kellett megtanulniuk a szavak jelentését, és 10 újszerű utasításra kellett általánosítaniuk.
- Az MLC rendszer megközelítette az emberi teljesítményt, és hasonló kognitív torzításokat mutatott.
- Az emberi résztvevők az esetek 80,7%-ában feleltek meg az algebrai sztenderdnek, ami jelentősen meghaladja a véletlenszerű esélyt.
Miért fontos?
Ez egy újabb példa arra, hogy az AI-rendszerek az emberihez hasonló viselkedés felé konvergálnak, amikor skálázzák és nehéz feladatokon tesztelik őket. Ez azt sugallja, hogy az AI és az emberi kogníció közelebb állhat egymáshoz, mint korábban gondoltuk, és bizonyos gondolkodási formák természetes konvergenciapontok lehetnek bármely intelligens rendszer számára, legyen az biológiai vagy mesterséges. ---