Az AT&T olcsóbb, nyílt forráskódú modellekre helyezi át AI-munkaterhelését
Az AT&T belső AI-feladatainak jelentős részét nyílt forráskódú modellekre helyezi át, a drágább, csúcskategóriás modelleket pedig a komplex, nagy téttel bíró munkákra tartogatja. Ez a stratégiai útválasztás (routing) a költségek menedzselését és a teljesítmény fenntartását célozza. A jelentések szerint az alkalmazottak AI-használatának 40%-át nyílt forráskódú modellekre terelve jelentős költségmegtakarítást értek el, minimális minőségromlás mellett. Az iparági trend a „modell-routerek” felé mutat, amelyek a költség, a teljesítmény és a komplexitás alapján választják ki az adott feladathoz leghatékonyabb modellt.
- Az AT&T belső AI-használatának 40%-át nyílt forráskódú modellekre irányítja.
- A váltás a hírek szerint 56%-kal csökkentette a kódolási költségeket, miközben a minőségbeli kompromisszum mindössze 2%-os volt.
- Az okos útválasztás bizonyos alkalmazásoknál 80–90%-kal csökkentette a kiadásokat.
- Az olyan új eszközök, mint a Stripe OpenRouter-felvásárlása és a Ramp új „Router” eszköze, elősegítik ezt a trendet.
A modell-routerek a döntéshozatali folyamatot az egész vállalatra kiterjedő egyetlen AI kiválasztásától a feladatonkénti stratégiák felé terelik, lehetővé téve a vállalatoknak, hogy pénzt takarítsanak meg a rutinfeladatokon, miközben a csúcskategóriás rendszereket csak akkor használják, amikor az valóban szükséges. ---