Cheatsheet a tiszta AI Context Managementhez
Hamarosan felszállok SF-be tartó gépemre, és most kaptam egy e-mailt arról, hogy ma nem lesz WiFi. Ó, ne! Nagyon reménykedtem, hogy az a 11 óra megszakítás nélküli idő a gyerekek nélkül végre produktív lesz (általában nagyon OOO utazó vagyok, internet nélkül). De még van mit csiszolnom azon az előadáson, amit kedden tartok. Emellett azért is vagyok a városban, hogy 100 ezer dolláros befektetéseket indítsak dev tools és infra startupok alapítóiba, valamint találkozzam néhány nagyszerű LP-mmel és újakat is megismerjek. A Ben’s Bites Fund II már elkezdett befektetni. Szóval a repülőút... Sietősen le kellett töltenem néhány local modelt, hogy offline tudjam használni az agentjeimet, és azt hiszem, eddig a Gemma 4: 26b lesz a választásom. Ma már annyira el vagyunk kényeztetve a gyors intelligenciával, ami azonnal elérhető, és vicces, hogy mennyire hozzászokunk az új intelligencia szintekhez. A local modellek lassan indulnak (figyelmesebbnek kell lenni, hogy milyen context töltődik be startupkor (ezért "no-skills" módban futtatom, hogy gyorsabb legyen, a "skilleket" majd akkor hívom, amikor akarom — talán általában is ezt preferálnám 🤔)). És elég lassúnak tűnnek a munkavégzésben, de csak a fent említett elkényeztetés miatt. A context management mélységeiben jártam mostanában, a tanfolyam miatt, amin dolgozom. És hasznos volt emlékeztetnem magam arra, hogy milyen kellemetlen is lehet; Ha egy agent webes kereséseket futtat – feltételezhetően nem olvastad el őket, akkor olyan tartalmakból nyeli el a contextet, amelyekről nem tudod, hogy 1. helyesek-e, 2. nem-e AI-slop, és 3. ajánlott forrásból származnak-e.
- Kisebb (vagy nagyobb) „AI-slop”, félrevezető és téves információk szivárognak be a contextbe és halmozódnak fel idővel.
- Egy context window körülbelül 60%-ának elérése valószínűleg a határ, ahol még optimális marad.
- Használj más sessionöket context-gyűjtő sessionökként; ha sok dokumentum van, hozz létre egy összefoglaló fájlt az információkkal (és próbáld meg elolvasni, vagy legalább átfutni! – ígérem, megpróbálom).
- Nem bízom az 1M context window-kban; Thariq az Anthropic-tól írt egy nagyszerű posztot erről. A feladataimhoz nem kellene, hogy 150 ezer token felett tökéletes recall-ra legyen szükség a contextemben, ez rengeteg szó. Csak addig, amíg az 1M context window-k nem válnak normává, a modellek elfelejtenek dolgokat, és közben segítenek megtisztítani a szennyezett contextet!