Az AI chatbotok jobban teljesítenek matematikából Star Trek promptok használatával

Az mesterséges intelligencia világában már megszokhattuk a meglepő fordulatokat, de a legújabb kutatási eredmények még a szakértőket is megdöbbentették. A VMware szoftvergyártó cég kutatói ugyanis felfedezték, hogy az AI chatbotok jelentősen jobban teljesítenek a különböző matematikai feladatok megoldásában, ha a felhasználók Star Trek tematikájú utasításokat, úgynevezett promptokat használnak. Kiderült, hogy a sci-fi univerzum iránti mesterséges kötődés valamilyen okból kifolyólag serkenti a modellek logikai képességeit, ami egy egészen új és váratlan fejezetet nyit az LLM modellek viselkedésének megértésében.

A kutatás során a szakemberek arra jutottak, hogy a matematikai jártasság látványos javulást mutat, amikor a chatbotokat arra kérik, hogy azonosuljanak a népszerű sorozat világával. Az egyik vizsgált AI modell esetében például a legpontosabb és legmegbízhatóbb válaszokat egy kifejezetten konkrét megfogalmazás váltotta ki. Amikor a chatbotot arra utasították, hogy a feleletét a „Kapitányi napló, csillagidő [ide írd be a dátumot]:” kifejezéssel kezdje, a matematikai pontosság drámai módon megemelkedett. Ez a finomhangolásnak tűnő, ám valójában triviális módosítás olyan rejtett tartalékokat mozgósított a rendszerben, amelyekre a hagyományos, száraz utasítások nem voltak képesek.

Ez a jelenség nem teljesen előzmény nélküli, hiszen az AI chatbotok működése korábban is produkált már furcsa anomáliákat. Egy tavalyi tanulmány például rávilágított arra, hogy a ChatGPT teljesítménye és válaszadási kedve érezhetően visszaesik az ünnepi időszakok környékén, mintha a modell maga is pihenni vágyna. Egy másik független kutatás pedig arra mutatott rá, hogy a chatbotok pontossága növekszik, ha a promptokban képzeletbeli pénzügyi ösztönzőket, vagyis fiktív borravalót kínálnak fel nekik a sikeres feladatmegoldásért cserébe. A Star Trek mintázat most egy újabb elemet ad ehhez a különös listához.

Bár az eredmények vitathatatlanok, a VMware kutatói egyelőre nem tudnak egyértelmű, racionális magyarázatot adni arra, hogy az ilyen apró és látszólag jelentéktelen változtatások miért váltanak ki ilyen drámai ingadozásokat a modellek teljesítményében. A szakértők a helyzetet egyszerre nevezték rendkívül meglepőnek és kifejezetten irritálónak, éppen a világos ok-okozati összefüggések hiánya miatt. Ez a felfedezés rávilágít arra, hogy bár az AI és a nagy nyelvi modellek mindennapjaink részévé váltak, a belső működésük és a promptok által kiváltott asszociációk mögött meghúzódó logika még mindig rengeteg rejtélyt tartogat a tudomány számára.