Az open-source vLLM projekt 150 millió dollárt gyűjtött az AI következtetési motor kommercializálására
Minden alkalommal, amikor a ChatGPT 30 másodperc helyett 3 másodperc alatt válaszol, valószínűleg olyan infrastruktúra dolgozik a háttérben, mint a vLLM. Tudtodon kívül használtad már; az alkotói pedig egyik napról a másikra egy 800 millió dolláros vállalattá váltak.
Ma elindult az Inferact egy hatalmas, 150 millió dolláros magvető (seed) tőkebevonással, hogy piacra dobja azt az open-source következtetési motort (inference engine), amely már most is az Amazonnál, nagy felhőszolgáltatóknál és fejlesztők ezreinél pörgeti az AI-t világszerte. A befektetési kört az Andreessen Horowitz és a Lightspeed vezette, a Sequoia, a Databricks és mások részvételével.
Mi is valójában a vLLM? Tekints rá úgy, mint a különbségre egy közlekedési dugó és egy autópálya-rendszer között az AI számára. Amikor kérdezel valamit a ChatGPT-től, a kérésed egy „következtetési” (inference) folyamaton megy keresztül – a modell szó szerint, szóról szóra generálja a választ. A vLLM két kulcsfontosságú innováció révén drasztikusan gyorsabbá és olcsóbbá teszi ezt a folyamatot. A vLLM-et használó cégek 2–24-szer gyorsabb következtetési sebességről számolnak be a standard megoldásokhoz képest, jelentősen alacsonyabb költségek mellett. A projekt 2023-as indulása óta több mint 2000 kód-beküldőt vonzott a UC Berkeley Sky Computing Lab-jából.
- PagedAttention: Úgy kezeli a memóriát, mint a számítógép a RAM-ot, akár 24-szeresére csökkentve a pazarlást a hagyományos módszerekhez képest.
- Folyamatos batching: Egyszerre több kérést dolgoz fel, mint egy étterem, amely 10 asztalt szolgál ki egyszerre, ahelyett, hogy megvárná, amíg mindenki befejezi az evést.
- Üzleti indulás: Az Inferact 150 millió dollárt gyűjtött 800 millió dolláros cégérték mellett az open-source projekt felskálázására.
- Fejlesztői népszerűség: A motort már használják a nagy felhőszolgáltatók és független fejlesztők ezrei.
Miért fontos?
Az AI fókusza a tanítási problémákról az üzemeltetési problémákra helyeződik át. Már nem az okos modellek megalkotása a szűk keresztmetszet, hanem azok költséghatékony, nagy léptékű futtatása. Ahogy a cégek idén az ingyenes kísérletezéstől eljutnak az AI több millió felhasználóhoz való eljuttatásáig, a következtetés (inference) optimalizálása jelenti majd a különbséget a profit és a csőd között. ---