Egy kutatás szerint a ChatGPT gyengébben teljesít, ha azt hiszi, hogy december van

Különös jelenségre figyeltek fel a mesterséges intelligencia kutatói, amely új megvilágításba helyezi a nagy nyelvi modellek működését és kiszámíthatatlanságát. Egy nemrégiben napvilágot látott kutatás szerint a ChatGPT gyengébben teljesít, pontosabban lényegesen rövidebb válaszokat generál, ha azt hiszi, hogy éppen december van. A felfedezés alig egy héttel azután borzolta fel a kedélyeket, hogy a fejlesztő OpenAI maga is elismerte: a ChatGPT az utóbbi időben hajlamosabbá vált a lustaságra. Rob Lynch, az X közösségi platform egyik felhasználója egy új tanulmányban mutatta be, hogy a GPT-4 modell mérhetően rövidebb kiegészítéseket produkált a téli hónapra beállított rendszerüzenetek esetén, mint amikor azt adták meg neki kiindulópontként, hogy május van. Az elvégzett elemzések alapján az eredmények statisztikailag teljesen szignifikánsnak tűnnek.

A kísérlet módszertana rendkívül módszeres volt, mégis egyszerű alapokon nyugodott. Lynch az API segítségével két különböző system promptot hozott létre: az egyik azt mondta a rendszernek, hogy május van, a másik pedig azt, hogy decembert írunk. Ezt követően szigorúan összehasonlította a két különböző állapotban kapott válaszok eloszlását. Az eredmények gyorsan visszhangra találtak a tech közösségben, és egy másik X-felhasználó, aki a thebes nevet viseli, szintén megvizsgálta a kérdést. Állítása szerint az API segítségével neki is maradéktalanul sikerült reprodukálnia Lynch kutatási eredményeit, ami tovább erősíti a megfigyelt jelenség valóságtartalmát.

A különös hírek akkor kerültek igazán a szakmai figyelem középpontjába, amikor Ethan Mollick, a Wharton professzora megosztotta a tanulmányt a nyilvánossággal. Mollick egyúttal egy lehetséges, meglehetősen logikus magyarázatot is társított a látottakhoz, amit AI Téli Szünet Hipotézisnek nevezett el. Az elmélet szerint az AI-ok azért teljesíthetnek rosszabbul decemberben, mert a tanítási adatokból akaratlanul is megtanulták, hogy az emberek az ünnepek közeledtével általában kevesebb munkát végeznek, így a modellek egyszerűen leutánozzák ezt a tipikus emberi viselkedési mintát. Bár az OpenAI egyelőre hivatalosan nem erősítette meg, hogy a teljesítmény közelmúltbeli visszaesése valóban az évszaknak vagy a naptárnak köszönhető-e, a vállalat közölte, hogy aktívan vizsgálják a problémát, és már dolgoznak a hiba javításán.