Az Anthropic bemutatja a Prompt Caching funkciót az API költségek drasztikus csökkentése érdekében
Az Anthropic egy új prompt gyorsítótárazási (prompt caching) funkciót vezetett be az API-ján, hogy javítsa a fejlesztők hatékonyságát. Ez a frissítés a pénzügyi költségek és a késleltetés (latency) csökkentésére szolgál a nagyméretű promptok esetében, különösen a kiterjedt kontextusablakokkal (context windows) dolgozó felhasználók számára.
- Akár 90%-kal csökkenti az API költségeket
- Akár 85%-kal csökkenti a késleltetést (latency)
- Jelenleg nyilvános béta fázisban érhető el a Claude 3.5 Sonnet és a Claude 3 Haiku modellekhez
Kapcsolódó hírek