A kutatások szerint az LLM-ek skálázása összehangolja a belső reprezentációkat az emberi absztrakt érveléssel
Az Amszterdami Egyetem kutatói összefüggéseket fedeztek fel aközött, ahogyan a nyelvi modellek és az emberek érvelnek az absztrakt sorozatokról. Ez a kutatás a legújabb azon vizsgálatok sorában, amelyek meglepő korrelációkat mutatnak nemcsak az AI rendszerek képességei, hanem aközött is, ahogyan a problémák az agyban és az LLM-ek belsejében megjelennek.
A szerzők kiterjesztik a közelmúltbeli munkákat – amelyek az emberi és az LLM-ek neurális reprezentációit hangolták össze észlelési és nyelvi feladatokban – az absztrakt érvelés területére, és összehasonlítják az emberek teljesítményét és neurális reprezentációit nyolc nyílt forráskódú (open-source) LLM-ével egy absztrakt minta-kiegészítési feladat megoldása során.
- A teszt során mind az embereknek, mind az LLM-eknek absztrakt formákból vagy szöveges mintákból álló sorozatokat kellett kiegészíteniük.
- A nagy modellek, mint a Qwen2.5-72B és a Llama-3.3-70B, 75-81%-os pontosságot értek el, majdnem elérve a 82,47%-os emberi átlagot.
- Az LLM-ek belső reprezentációit az EEG-vel rögzített emberi agykérgi aktivitással hasonlították össze reprezentációs disszimilaritási mátrixok (RDM) segítségével.
- Az érvelésre optimalizált modellek (mint a DeepSeek-R1-Distill-Llama-70B) nagyobb emberi hasonlóságot mutattak a hibamintákban, de alacsonyabb általános pontosságot értek el az alapmodellekhez képest.
- A lépésről lépésre történő érvelés ösztönzése úgy tűnik, hogy a modelleket emberibbé teszi, a nyers képességek mérsékelt csökkenésének árán.
Hajlok arra a világnézetre, miszerint „azokat a dolgokat, amelyek úgy viselkednek, mint más dolgok, hasonlóan kell kezelni”. Vagy másképp fogalmazva: „ha valami úgy néz ki, mint egy kacsa, úgy beszél, mint egy kacsa, és úgy hápog, mint egy kacsa, akkor kezeld kacsaként”. Az ehhez hasonló kutatások azt mutatják, hogy az LLM-ek és az emberek egyre hasonlóbbnak tűnnek, ahogy az AI rendszereket egyre kifinomultabbá tesszük. ---