A Diffbot modell egy billió tényt tartalmazó tudásgráfból merít a pontosság növelése érdekében

A szilícium-völgyi Diffbot startup egy egészen új megközelítéssel hívta fel magára a figyelmet az AI-fejlesztés világában, miután kifejlesztett egy egyedülálló rendszert. A vállalat csendben felépítette az internet egyik legnagyobb tudásindexét, amely több mint egy billió tényt tartalmaz. Ezt a hatalmas adatbázist a weboldalak autonóm lekaparásával és a rajtuk található tartalom strukturált rendszerezésével hozták létre. Az így kapott tudásgráf rendkívüli előnyt biztosít a cég számára a piacon, mivel az új modelljük képes közvetlenül felidézni a pontos információkat ahelyett, hogy egyszerűen csak a következő valószínű szövegrészt jósolná meg.

A technológiai hátteret vizsgálva a Diffbot egy olyan új modellt mutatott be, amely a Meta nyílt forráskódú Llama 3.3 alapjaira épül, de egy rendkívül lényeges ponton eltér attól. A kulcsfontosságú különbség a piacon elérhető hagyományos LLM verziókhoz képest az, hogy ez a rendszer egyfajta enciklopédikus memóriával rendelkezik. Míg a legtöbb nagy nyelvi modell csupán statisztikai alapon jósolja meg a következő sort egy adott szövegsorozatban, a Diffbot LLM-je képes a valós időben történő működése során konkrét tényeket kikeresni és felhasználni a hatalmas adatkészletéből. Ez a működési elv alapjaiban változtatja meg az információfeldolgozást, hiszen a modell közvetlenül a megbízható adatokból táplálkozik.

Ez a forradalmi módszer közvetlen és hatékony megoldást kínál az AI-iparág egyik legnagyobb kihívására, a hallucinációra. Mivel a Diffbot rendszere a valós időben lekérdezett, ellenőrzött tényekre támaszkodik, sokkal kevesebb téves információt generál, mint a versenytársai. A folyamat leginkább ahhoz hasonlítható, mintha a múltbeli valós tapasztalatokat és rögzített adatokat idézné fel a gép ahelyett, hogy valami teljesen újat találna ki csupán a szöveg folyamatosságának biztosítása érdekében. Ennek az egyedi struktúrának köszönhetően a startup újdonsága a mai napig a világ legtényszerűbben megalapozott modelljének tekinthető.

De miért is bír olyan hatalmas jelentőséggel ez a fejlesztés a tech szektor számára a jelenlegi helyzetben? A Diffbot megközelítése mindössze 1B paramétert használ, ami rendkívül alacsonynak és kompaktnak számít a mai óriásmodellek korában. Ennek ellenére ez a módszer pontosabbnak és lényegesen hatékonyabbnak bizonyul a hagyományos, pusztán a méret növelésére építő eljárásokhoz képest. Ahogy az AI-iparág világszerte egyre inkább beleütközik a komoly energia- és adatkorlátokba, ez a rendkívül hatékony és tényalapú technológia valódi, méltó alternatívát kínál a jövőbeli fejlesztések számára.