🥣 dev dish
A Google 50%-kal olcsóbb Batch módot indít a Gemini API-hoz
A Google bevezette a Batch módot a Gemini API-hoz, amely hatalmas, 50%-os kedvezményt kínál azoknak a fejlesztőknek, akik tudnak várni az eredményekre. Ezt a funkciót nagy volumenű, aszinkron feladatokhoz tervezték, ahol az azonnali válaszidő nem követelmény, például nagyméretű dokumentumfeldolgozáshoz vagy adatosztályozáshoz.
- A Batch mód 50%-os árcsökkenést biztosít a normál, valós idejű API-hívásokhoz képest.
- A Batch módon keresztül feldolgozott kérések jellemzően 24 órán belül elkészülnek.
- Ez a frissítés az AI munkaterhelések skálázását célozza vállalati adatkinyerés és összegzés esetén.
- Lehetővé teszi a költséghatékonyabb kísérletezést a legfejlettebb modellekkel nagy léptékben.
Miért fontos?
Az inferencia költségének felére csökkentése a nem sürgős feladatoknál jelentősen életképesebbé teszi a vállalatok számára, hogy hatalmas adathalmazokat dolgozzanak fel csúcskategóriás AI modellekkel.