Kutatók szerint az AI a recency bias miatt küzd a hosszú dokumentumok összefoglalásával

Biztosan sokakkal előfordult már, hogy megkértek egy olyan népszerű AI modellt, mint a ChatGPT vagy a Claude, hogy foglaljon össze egy hosszabb dokumentumot, az eredmény pedig teljesen félrement. Kutatók szerint ez a jelenség egyáltalán nem egyedi, és az úgynevezett „lost in the middle”, vagyis a „közepén elveszve” problémára vezethető vissza. A nagy nyelvi modellek ugyanis hajlamosak a kapott szövegek vagy promptok elejére és végére összpontosítani, miközben a középső tartalmat szinte teljesen figyelmen kívül hagyják. Ez a viselkedés kísértetiesen hasonlít az emberek esetében megfigyelhető recency bias jelenségére, amikor is hajlamosak vagyunk az utoljára hallott információkra jobban emlékezni, még akkor is, ha azok nem a legfontosabbak a teljes kontextus szempontjából.

Egy friss tanulmány alaposan megvizsgálta, hogy a nagy AI modellek miként kezelik a hatalmas szövegtömböket, és az eredmények kijózanítóak lettek. Bár a technológiai vállalatok gyakran büszkélkednek azzal, hogy az újabb modellek képesek akár egymillió tokent – ami nagyjából 750 ezer szónak felel meg – is kezelni, a valóság egészen más képet mutat. A kutatás szerint ezek a modellek néha már néhány ezer token után is képtelenek összekapcsolni a különböző gondolatokat. Egy megfigyelő például egy holland nyugdíjalapokról szóló, 50 oldalas tanulmányt próbált meg összefoglaltatni a ChatGPT-vel. Az eredmények és a tényleges összegzés összehasonlítása után kiderült, hogy az AI valójában nem elvégezte a szöveg érdemi összefoglalását, hanem csupán megrövidítette azt. Ráadásul a probléma nem korlátozódik a szöveges LLM rendszerekre; a képeket, hangokat és szövegeket egyszerre kezelő multimodális modellek pontosan ugyanezzel a hiányossággal küzdenek.

Ez a korlát komoly kockázatokat hordoz magában a mindennapi használat során. Ha vakon bízunk az AI által készített kivonatokban, kulcsfontosságú adatokról és összefüggésekről maradhatunk le, sőt, a rendszerek gyakran olyan hibákat vagy ellentmondásokat vihetnek be, amelyek az eredeti forrásban nem is szerepeltek. Szerencsére léteznek olyan stratégiák, amelyekkel enyhíthetjük ezt a problémát. Érdemes a hosszabb szövegeket kisebb egységekre bontani, és külön promptokban összefoglaltatni az egyes részeket. A lekérdezések során használjunk rendkívül konkrét utasításokat: kérjük meg az AI-t, hogy gyűjtsön ki minden egyes tényt, számadatot és meglátást egy listába. Az összefoglaló elkészülte után tegyünk fel pontosító kérdéseket, például hogy maradt-e ki valami, vagy hogy minden információ pontos-e. Végezetül, a hallucinációk kiszűrése érdekében a legfontosabb pontokat mindig ellenőrizzük le manuálisan az eredeti forrásdokumentumban.