Az AI kontextusablakok mérése Harry Potter könyvek számával

Az AI iparágban a kontextusablakok méretének szemléltetésére egyre gyakrabban alkalmaznak közérthető hasonlatokat a szakértők. A Google Gemini 1.5 Pro modellje ezen a téren rendkívüli mérföldkőhöz érkezett, ugyanis képes közel 10 teljes példányt befogadni a „Harry Potter és a bölcsek köve” című könyvből a saját kontextusablakán belül. Eduardo Viteri LinkedIn-felhasználó elemzése szerint ez a hatalmas kapacitás körülbelül 1 millió token egyidejű feldolgozását jelenti. Ez a teljesítmény messze felülmúlja a jelenlegi piaci vetélytársak képességeit, és új alapokra helyezi azt, amit a nagyméretű nyelvi modellek feldolgozási kapacitásáról gondoltunk.

Hogy kontextusba helyezzük a Google eredményét, érdemes megnézni a többi fejlesztést is, hiszen a különbségek meglehetősen szembeötlőek. A versenyben a második helyen álló Claude 2.1 modell például jelentősen elmarad a Gemini mögött: ez a rendszer körülbelül 200 000 tokennel rendelkezik, ami a gyakorlatban nagyjából csupán 1,95 Harry Potter könyvnek felel meg. Ez az összehasonlítás rávilágít arra, hogy a Google mekkora technológiai előnyre tett szert, hiszen a Gemini 1.5 Pro kontextusablaka szinte ötször nagyobb, mint a közvetlen konkurenciáé.

A technológia megértéséhez fontos tisztázni, mik is pontosan azok a tokenek és miért lényeges a kontextusablak mérete. A tokenek azokra a szavakra és nyelvi elemekre utalnak, amelyeket az AI modellek egyidejűleg képesek kezelni és feldolgozni. A kontextusablak határozza meg azt az információmennyiséget, amit a modell egy adott pillanatban „észben tud tartani”. Általánosságban elmondható, hogy minél nagyobb egy modell kontextusablaka, a rendszer annál jobban megérti a szintaxist, az összefüggéseket és a nyelv egyéb bonyolult árnyalatait. A Harry Potter könyvek számával történő mérés így nemcsak egy ötletes hasonlat, hanem pontosan jelzi, hogy a megnövekedett ablakméret alapjaiban változtatja meg a szövegértelmezés minőségét az AI rendszerekben.