AZ INNOVÁCIÓ ÉLVONALÁBÓL
Különböző utak az AGI-hoz: a számítási kapacitás növelésén túl
Bár a fenti bejegyzés viccnek indult, valójában egy fontos pontra mutat rá: bár a legtöbb AI startup célja ugyanaz – elsőként elérni az AGI-t vagy az ASI-t –, egészen különböző módon próbálják megvalósítani azt.
- Az OpenAI a számítási kapacitás (compute) skálázásával ért el sikereket – egyre több GPU-t és tanítóadatot zúdítottak az LLM-ekre, hogy okosabbá tegyék őket.
- Az xAI a Grok 4-gyel finomított ezen a megközelítésen a reinforcement learningre (megerősítéses tanulás) fókuszálva (azaz jutalmazzák a modellt, ha helyes választ ad). Ahelyett, hogy minden kapacitást a kezdeti tanítási fázisba fektetnének, inkább az RL fázist skálázták fel.
- A Moonshot egy másik utat választott a Kimi K2 építésekor. Mivel a legtöbb modellnek nehézséget okoz a figyelem fenntartása a tanítás során, a K2 egy speciális Muon optimizer eszközt használt, amely segített frissíteni az attention mechanizmusát a folyamat során.
- A Meta talán a legkockázatosabb utat választotta az iparági átlag feletti fizetési csomagok kínálásával. Úgy vélik, hogy az AI legjobb elméinek összehozása olyan új technikákhoz vezet, amelyekre eddig még nem is gondoltak – bár korábbi kutatók kritizálták a vállalatot a világos vízió vagy irányvonal hiánya miatt.
Miért fontos?
A lényeg: az AI fejlődése már nem csak a nagyobb modellekről vagy a több GPU-ról szól. A megfelelő dolgok megfelelő időben történő skálázásáról van szó – legyen az a compute, a finomhangolási technikák, az adatok kezelése vagy a modellek mögött álló emberek. Ez azt jelenti, hogy a következő igazi áttörés talán nem is a skálázásból, hanem abból adódik, hogy újragondoljuk, valójában mit is akarunk optimalizálni. ---