AI STRATÉGIA
Érvek a központosított LLM multiprocesszor API-réteg mellett
Sahar Mor a fizetési iparágból merít párhuzamot, és feltérképezi a nyelvi modellekhez szánt „multiprocesszor” koncepcióját. Olyan nagyvállalatok, mint az Uber és az Amazon, több fizetési feldolgozót használnak a redundancia biztosítása, a különböző földrajzi régiókban való elfogadási arányok maximalizálása és a költségek csökkentése érdekében a verseny kihasználásával. Hasonló megközelítés válik elengedhetetlenné az AI-vezérelt cégek számára is, amelyek jelenleg alapértelmezés szerint egyetlen szolgáltatóra, például az OpenAI-ra támaszkodnak.
Bár sok fejlesztő a GPT-4-gyel kezd, hogy kezdetben ne kelljen a költségekkel és a látenciával foglalkoznia, a saját tulajdonú és open-source modellek növekvő kínálata azt sugallja, hogy egy egységes API-réteg a célravezetőbb hosszú távú stratégia. Ez a felépítés lehetővé teszi a vállalatok számára, hogy a feladatokat a leghatékonyabb modellhez irányítsák – legyen szó egy saját tulajdonú óriásról vagy egy speciális open-source modellről –, az adott feladat konkrét követelményei, például a sebesség, a költség vagy a fogyasztói szintű hardveren való futtathatóság alapján.
- A főbb saját tulajdonú LLM-szolgáltatók közé tartozik jelenleg az OpenAI (GPT), a Google (PaLM), az Anthropic (Claude), az Inflection (Pi) és a Cohere.
- A nagy teljesítményű open-source alternatívák közé tartozik a Meta Llama 2-je, a Stability AI StableBeluga2-je és a Platypus.
- A multiprocesszoros felépítés redundanciát biztosít, garantálva, hogy ha egy fő szolgáltató leáll, a rendszer automatikusan átválthat egy másikra.
- Az útválasztási logika optimalizálhatja a teljesítményt azáltal, hogy a regionális feladatokat olyan feldolgozókhoz vagy modellekhez küldi, amelyek jobban megfelelnek az adott nyelveknek vagy földrajzi területeknek.
- Az egységes API-réteg lehetővé teszi a vállalkozások számára, hogy az LLM-szolgáltatókat felcserélhető árucikként kezeljék, ezzel csökkentve a partnerköltségeket és jobb teljesítményt kényszerítve ki.
Miért fontos?
Ahogy az AI-piac érik, az egyetlen modell-szolgáltatóra való támaszkodás kritikus hibaforrást (single point of failure) hoz létre, és korlátozza a vállalat képességét a költségek és a teljesítmény optimalizálására. A „multiprocesszoros” megközelítés lehetővé teszi a vállalatok számára, hogy agilisak maradjanak, és szolgáltatót váltsanak az újabb, hatékonyabb modellek megjelenésekor.