A Centaur LLM túlszárnyalja a speciális rendszereket az emberi kogníció modellezésében
Egy interdiszciplináris kutatócsoport új tanulmánya bizonyítékot szolgáltat arra, hogy a nyelvi modellek, miután klasszikus pszichológiai kísérletek adatain finomhangolták őket, jobban teljesítenek az emberi kogníció pontos modellezésében, mint a speciális rendszerek.
A kutatók egy LLaMa 3.1 70B modellt finomhangoltak QLoRA segítségével egy új, Psych-101 nevű adatkészleten, majd tesztelték, mennyire pontosan tudja a rendszer modellezni és megjósolni az emberi kogníciót különböző feladatok során. Az eredmények meggyőzőek voltak: az egyetlen finomhangolt LLM egyetlen kísérlet kivételével minden esetben felülmúlta a speciális, területspecifikus modelleket. A rendszer az „out-of-distribution” (eloszláson kívüli) feladatokban is jól teljesített, ahol jobban generalizált, mint a kézzel írt vagy speciális rendszerek.
- A LLaMa 3.1 70B modellt a Psych-101 adatkészleten finomhangolták, amely 160 pszichológiai kísérletet tartalmaz.
- A Psych-101 több mint 10 000 000 egyedi emberi döntést tartalmaz mérvadó tanulmányokból.
- A modell olyan területeket fed le, mint a többkarú rabló problémák, a döntéshozatal és a memória.
- Jobban generalizál, mint a kézzel írt vagy területspecifikus szakértői rendszerek.
- Lehetővé teszi kísérleti pszichológiai tanulmányok „in silico” prototípus-készítését.
Az ehhez hasonló eredmények azt mutatják, hogy a kortárs nyelvi modellek összetettsége elegendő ahhoz, hogy magában foglalja és reprezentálja azokat a módokat, ahogyan az emberek az alapvető ingerekre reagálnak. Feltaláltunk egy gépet, amely képes megközelíteni az emberi gondolkodást és reakciókat, ami az automatizált kognitív tudományhoz vezethet. ---