Az Inception Labs elindította az ultra-gyors Mercury diffúziós modellt szöveghez

Az Inception Labs nevű tech startup hivatalosan is kilépett a rejtőzködő, úgynevezett stealth üzemmódból, és azonnal egy komoly áttörést jelentő bejelentéssel hívta fel magára a piac figyelmét. A vállalat bemutatta a Mercury nevű ultra-gyors generatív modellt, amely egy teljesen új megközelítést alkalmaz a szöveggenerálás terén. A Mercury egy egyedülálló text-diffusion, azaz diffúziós alapú LLM, amely képes a hagyományos nagy nyelvi modellekhez képest akár tízszer gyorsabban szöveget előállítani. A rendkívüli sebességnövekedés ráadásul egyáltalán nem jár a minőség romlásával, hiszen a modell a tesztek során standard H100-as chipeken futtatva képes volt elérni a másodpercenkénti több mint 1000 tokenes generálási sebességet, miközben tökéletesen hozza a megszokott piaci színvonalat.

Az Inception Labs technológiájának hátterében egy alapvető paradigmaváltás áll, amely megváltoztatja azt, amit eddig az AI nyelvi generálási mechanizmusáról gondoltunk. Miközben a jelenleg elterjedt hagyományos LLM-ek szekvenciálisan, azaz szigorúan egymás után, egyszerre csak egyetlen tokent generálnak, addig a Mercury innovatív diffúziós megközelítése lehetővé teszi, hogy teljes szövegblokkokat hozzon létre párhuzamosan. Ez a módszer drasztikusan növeli a generálás sebességét, miközben sokkal jobb hatékonyságot és nagyobb kontrollt biztosít a folyamatok felett. A startup első gyakorlati fejlesztése a Mercury Coder nevű modell, amely kifejezetten a kódgenerálásra fókuszál. A Mercury Coder kódolási teljesítménye teljesen megegyezik, vagy bizonyos esetekben felül is múlja az olyan népszerű és elismert modellek szintjét, mint az OpenAI-féle GPT-4o Mini vagy az Anthropic által fejlesztett Claude 3.5 Haiku, mindezt azonban az említett versenytársakhoz képest ötszörös vagy akár tízszeres sebesség mellett valósítja meg.

A forradalmi technológia kidolgozása mögött komoly tudományos munka áll, hiszen az Inception Labs alapítója Stefano Ermon, a Stanford professzora. A kutató hosszú időn keresztül azt tanulmányozta, miként lehetne a diffúziós eljárást – amelyet eddig szinte kizárólag olyan kép- és videógeneráló rendszereknél láthattunk sikeresen működni, mint például a Sora – hatékonyan átültetni a szöveges tartalomgyártás világába. Az eredmények azt mutatják, hogy a Mercury modellek közvetlen és zökkenőmentes helyettesítőként szolgálhatnak a hagyományos modellek helyett olyan kritikus fontosságú vállalati területeken, mint a kódgenerálás, az ügyfélszolgálati rendszerek és a komplex vállalati automatizáció. Ez a fejlemény azért rendkívül fontos, mert alapjaiban kérdőjelezi meg az AI nyelvi generálásáról alkotott eddigi alapvető feltételezéseinket. A technika elterjedésével sokkal erősebb és autonómabb AI ágensek hozhatók létre, javul a következtetési folyamatok hatékonysága, a felhasználók számára pedig olyan AI élményeket tesz lehetővé, amelyek valós időben futva valóban teljesen pillanatszerűnek érződnek.