A MUNKA JÖVŐJE
Ilya Sutskever jóslatai az AI következő fejezetéről
Az elmúlt két hét AI-hírei mellett talán elkerülte a figyelmét az az alapjaiban rengető előadás, amelyet az OpenAI korábbi tudományos igazgatója, Ilya Sutskever tartott a múlt heti NeurIPS 2024 AI-konferencián.
Ez egy lenyűgöző visszatekintés volt a 2014-es mérföldkőnek számító tanulmányára, amely segített beindítani a modern AI-forradalmat. De ami még fontosabb: komoly jóslatokat fogalmazott meg arról, merre tart az AI a jövőben.
Az év utolsó történeteként stílusos arról beszélni, merre halad az AI a közeljövőben. És ki tudná ezt jobban megjósolni, mint maga Ilya?
Először egy kis történelemóra. 2014-ben Sutskever és szerzőtársai három egyszerű, de hatékony ötletet javasoltak, amelyek mindent megváltoztattak (az AI területén): ez a három összetevő alkotja lényegében a mai összes LLM receptjét a GPT-től kezdve a Claude-on át a Gemini-ig.
Most pedig jön az érdekes rész: Sutskever úgy véli, hogy ennek a korszaknak a végéhez közeledünk. „A pre-training (egy nagy modell betanítása), ahogy ma ismerjük, megkérdőjelezhetetlenül véget ér” – jelentette ki.
Miért? Mert „csak egy internetünk van”.
Ezzel arra utal, hogy kifogyunk a kiváló minőségű tanítóadatokból, amelyeken az AI-kat képezhetnénk.
Ahogy Sutskever fogalmazott: „Az adat az AI fosszilis tüzelőanyaga – elértük az Adatcsúcsot (Peak Data).”
Mi jön ezután? Sutskever több lehetőséget is vázolt az AI fejlesztésének új irányaira. A legizgalmasabb rész azonban az volt, amikor a szuperintelligenciáról beszélt. Van benne logika… az új cégét szó szerint Safe Superintelligence-nek hívják.
Úgy véli, a jövőbeli AI-rendszerek minőségileg különbözni fognak a mai modellektől néhány kulcsfontosságú módon. Mondandója szemléltetésére egy érdekes biológiai analógiát hozott: ahogy a korai hominidák agyméretének testmérethez viszonyított növekedési mintázata eltért a többi emlősétől, úgy sugallja, hogy az AI is találhat egy hasonló „eltérő meredekségű görbét” a fejlődésében – egy alapvető elmozdulást abban, ahogyan ezek a rendszerek skálázódnak és javulnak.
A fő tanulság? Az AI-fejlesztés egyik korszakának (az internetes adatokon való pre-training) a végén járunk, de potenciálisan valami sokkal mélyebb dolog kezdetén.
A következő fázis nem csupán a nagyobb modellekről vagy több adatról szól majd – hanem olyan rendszerek létrehozásáról, amelyek valóban képesek gondolkodni, érvelni és megérteni a körülöttük lévő világot.
Hogy mi történik majd akkor? Ez már egy másik beszélgetés témája… egyelőre kortyoljon el egy margaritát a tengerparton, és pihenjen rá a (remélhetőleg biztonságos) szuperintelligenciára ’25-ben!
- Szövegre tanított autoregresszív modellek használata.
- A neurális hálózatok méretének növelése.
- Betanítás masszív adathalmazokon.
- Agentek: AI-rendszerek, amelyek ténylegesen képesek feladatokat végrehajtani helyettünk a számítógépen (ez 2025 nagy dobása lesz).
- Synthetic data: Új módszerek keresése tanítóadatok generálására az AI-modellek javítása érdekében.
- Inference-time compute: Olyan modellek, mint a ChatGPT o1, amelyek több feldolgozást végeznek a kérdés feltevésekor.
- Reasoning (érvelés/gondolkodás): Továbblépés a mintafelismerésen túl a valódi logikai gondolkodás felé.
- Valódi cselekvőképesség (True agency): Nem csak utasítások követése, hanem saját célok követése.
- Valódi érvelés: Elmozdulás a mintafelismeréstől a logikai gondolkodás irányába.
- Hatékonyabb tanulás: Fogalmak megértése korlátozott mennyiségű adatból.
- Öntudat: Belső modell birtoklása saját magukról.
- Kiszámíthatatlanság: Minél többet gondolkodnak, annál nehezebb lesz megjósolni a viselkedésüket.
Miért fontos?
Ahogy a közönséges főemlősöktől a hominidákig tartó evolúciós ugrás minőségi változást jelentett az intelligenciában (nem csak nagyobb agyat), Sutskever azt sugallja, hogy az AI következő fázisa hasonló evolúciós ugrást képviselhet – az internetes adatokon alapuló mintafelismeréstől a valódi érvelésig és cselekvőképességig. ---