A „Chain-of-Draft” prompting stratégia drasztikusan csökkenti az AI tokenköltségeit
Egy új prompting technika, a „Chain-of-Draft” segít a felhasználóknak radikálisan csökkenteni az AI költségeit azáltal, hogy korlátozza a modellek gondolkodási folyamatát. Ahelyett, hogy hagynák az AI-t hosszú bekezdéseken át érvelni (Chain-of-Thought), a felhasználók arra utasítják a modellt, hogy lépésről lépésre gondolkodjon, de minden lépést legfeljebb öt szóra korlátozzon. Ez a megközelítés az emberi mentális jegyzeteket utánozza, és ugyanolyan pontosságot biztosít, mint a hosszabb gondolatmenetek, miközben jelentősen kevesebb tokent használ. A felhasználóknak javasolt egy specifikus elválasztó, például a „####” használata a végső válasz előtt a struktúra megtartása érdekében.
- Korlátozzon minden gondolkodási lépést maximum 5 szóra a tokenköltségek megtakarítása érdekében.
- Adja hozzá a „keep reasoning steps under 5 words” utasítást a rendszer- vagy felhasználói promptokhoz.
- Használja a „####” szimbólumot a végső válasz előtt, hogy segítse a modellt a logika és az eredmények szétválasztásában.
- A módszer fenntartja a nagy pontosságot, miközben sokkal rövidebb kimeneteket produkál.
- Ez a technika azt utánozza, ahogyan az emberek gyors mentális jegyzeteket használnak esszék írása helyett a problémák megoldásához.
Ahogy a vállalkozások skálázzák az AI-használatukat, a token-hatékonyság kritikus pénzügyi tényezővé válik, és a Chain-of-Draft egyszerű módot kínál a teljesítmény fenntartására a kiadások csökkentése mellett.