AI MODELLEK
A Logical Intelligence bemutatja a Konát, az első következtetésen alapuló energiamodellt
A jelenleg használt összes AI alkalmazás, a ChatGPT-től a Gemini-ig, a soron következő szó megjóslásával működik egy szekvenciában. Bár ez hatékony, Eve Bodnia fizikus azzal érvel, hogy a nyelv megjóslása alapvetően különbözik a következtetéstől (reasoning). Startupja, a Logical Intelligence kifejlesztette a Konát, amely állításuk szerint a világ első következtetésen alapuló energiamodellje (EBM). Ellentétben az LLM-ekkel, amelyek tokeneket használnak és szóról szóra tippelnek, a Kona az adatokat egy absztrakt energiatájba (energy landscape) képezi le, ahol a „völgyek” a helyes válaszokat, a „csúcsok” pedig a hibákat képviselik. Ez lehetővé teszi a modell számára, hogy az összes lehetséges forgatókönyvet egyszerre értékelje ki, és közvetlenül a leglogikusabb megoldáshoz navigáljon. Yann LeCun, Turing-díjas tudós alapító elnökként csatlakozott a cég technikai kutatási tanácsához. A modell figyelemre méltóan hatékony: egy 200 millió paraméteres verzió egyetlen olcsó GPU-n is fut, az emberi agy alacsony energiafogyasztása által inspirálva.
A Kona a Lagrange-függvény elvén alapul, amely egy rendszer teljes energiaállapotát leíró fizikai egyenlet. Egy fej-fej melletti Sudoku teszt során a Kona a rejtvények 96,2%-át oldotta meg átlagosan 313 milliszekundum alatt, miközben a vezető LLM-ek, mint a GPT-4 és a Claude, mindössze 2%-os megoldási arányt értek el, lényegesen magasabb költség mellett. A modell „RL-mentes következtetési finomhangolást” használ, amely elkerüli a megerősítéses tanulás szűk keresztmetszeteit a tanítóadatok mögötti következtetési folyamat visszafejtésével. Hibrid rendszerekben a Kona végzi a gondolkodást, míg egy integrált LLM fordítja le ezeket a gondolatokat emberi nyelvre, az Aleph nevű formális ellenőrző ágens hitelesítése mellett.
- A Kona energiatájba képezi le az adatokat, és egyszerre értékeli a forgatókönyveket ahelyett, hogy szekvenciákon haladna keresztül.
- A modell perturbációszámítást használ annak észlelésére, ha a navigáció letér az útról, és újratanítás nélkül korrigálja önmagát.
- A Sudoku feladványok 96,2%-át milliszekundumok alatt oldotta meg, szemben a top LLM-ek 2%-os sikerességi arányával.
- A Kona demó költsége 4 dollár volt, szemben a versenytárs LLM-ek 11 000 dolláros API számlájával.
- Egy 200 millió paraméteres architektúrán működik, amely minimális hardveren fut, és kevesebb mint 20 wattot fogyaszt.
- A drága megerősítéses tanulást „RL-mentes következtetési finomhangolással” helyettesíti az eloszlási összeomlás elkerülése érdekében.
- Integrálódik az Aleph nevű formális ellenőrző ágenssel, hogy géppel ellenőrizhető bizonyítékokat készítsen a kód viselkedéséről.
Miért fontos?
Ez a technológia potenciális elmozdulást jelent a kizárólag transformer-alapú architektúráktól. A következtetés és a nyelvgenerálás szétválasztásával az EBM-ek megoldhatják a hallucinációs problémát, és drasztikusan csökkenthetik a komplex logikai feladatokhoz szükséges számítási teljesítményt. ---