A kutatók bemutatták a SKILL.state-et a tokenhasználat csökkentésére

A Google és a Purdue Egyetem kutatócsoportja a napokban bemutatta a SKILL.state elnevezésű innovatív rendszert, amely alapjaiban változtathatja meg az AI ágensek működési mechanizmusát és erőforrás-igényét. A hagyományos LLM alapú ágensek eddigi legnagyobb korlátja az volt, hogy minden egyes döntéshozatali lépésnél újra kellett dolgozniuk az interakciós előzmények teljes láncolatát, ami rendkívül gyorsan emésztette fel a tokenkereteket. A SKILL.state ezzel szemben egy strukturált, folyamatosan frissülő állapotot tárol az ágensről, így a modellnek nem kell a teljes múltbeli eseménysorozatot újra és újra feldolgoznia. A technológia hatékonyságát a Gemini 1.5 Flash modellen végzett, 100 lépéses benchmark tesztek igazolják, amelyek során a tokenfelhasználás drasztikusan, 1,06 millióról mindössze 65 ezerre csökkent, ami elképesztő, 94 százalékos megtakarítást jelent.

A fejlesztés jelentősége messze túlmutat a puszta költségcsökkentésen, hiszen a pontosság tekintetében is látványos javulást hozott: a rendszer a tesztek során 0,91-ről 0,94-re emelte a teljesítményt. Ez a paradoxnak tűnő eredmény – azaz a kisebb adatmennyiség mellett elért magasabb minőség – a strukturált állapotkezelés erejét bizonyítja. Amikor egy ágens hosszú, bonyolult feladatokat hajt végre, a kontextusablak telítődése gyakran zajt visz a feldolgozásba, vagyis a modell figyelme megoszlik a lényeges információk és a felesleges múltbeli részletek között. A SKILL.state módszere ezzel szemben lényegre törő, tömörített adatokat biztosít az LLM számára, így az ágens mindig a feladat szempontjából releváns, aktuális állapotra fókuszálhat, minimalizálva ezzel a hallucinációk lehetőségét és a feldolgozási hibákat.

Ez a technológiai áttörés különösen kritikus a jövőbeni ágens-alapú rendszerek fejlődése szempontjából, ahol a hosszú ideig futó folyamatok az alapvető követelmények közé tartoznak. Legyen szó automatizált szoftverfejlesztésről, összetett adatfeldolgozási projektekről vagy folyamatos online ügyfélszolgálati jelenlétről, a tokenalapú fizetési modellek esetében a költséghatékonyság a legfőbb akadálya a skálázhatóságnak. A SKILL.state bevezetése utat nyithat olyan ágensek előtt, amelyek hosszú órákon vagy napokon át képesek konzisztens munkát végezni anélkül, hogy a számítási költségek elszállnának. A Google és a Purdue kutatása tehát nem csupán egy technikai optimalizáció, hanem egy szükséges lépés afelé, hogy az AI ágensek a kísérleti fázisból átlépjenek a valódi, gazdaságos és megbízható üzleti alkalmazások világába.