Pretraining fejlődés: Az adatok hajtják az AI hatékonyságának növekedését

Az utóbbi években a mesterséges intelligencia fejlődését látva hajlamosak vagyunk azt gondolni, hogy a látványos áttörések mögött elsősorban a hatalmas számítási kapacitás és a folyamatosan fejlődő hardveres háttér áll. Dwarkesh Patel és Jerry Han legfrissebb elemzése azonban rávilágít arra, hogy a valódi motor a motorháztető alatt nem feltétlenül a nyers erőben, hanem az adatokban rejlik. A kutatók becslései szerint 2019 és 2025 között a jobb minőségű tanítóadatok nagyjából tizenkétszeresére növelték a pretraining fázis hatékonyságát. Ezzel szemben a modellarchitektúrák finomítása és a tréning folyamatok, az úgynevezett training-recipe fejlesztései csupán 3,7-szeres javulást eredményeztek ugyanebben az időszakban. Ez az eredmény alapvetően kérdőjelezi meg azt a nézetet, miszerint kizárólag a GPU-parkok mérete határozza meg egy-egy új modell sikerét.

Ez a felfedezés megerősíti a szakmában egyre inkább teret nyerő data-centric, azaz adatcentrikus megközelítés létjogosultságát. Míg az LLM-fejlesztés korai szakaszában a mennyiségi szemlélet dominált, és a cél az interneten elérhető összes szöveg „beolvastatása” volt, mára egyértelművé vált, hogy a minőségi szűrők és a szelektált adatforrások használata sokkal kifizetődőbb. A kutatás rámutat, hogy a tisztán algoritmikus újítások, bár továbbra is nélkülözhetetlenek, elmaradnak az adatkezelésben rejlő hatékonyságnövelési lehetőségektől. A fejlesztők ma már sokkal több erőforrást fordítanak a zajos adatok kiszűrésére, a duplikációk eltávolítására és a magas értékű, strukturált források integrálására, mint a neurális hálók belső szerkezetének radikális átalakítására. Ez a szemléletváltás tette lehetővé, hogy a mai kisebb modellek gyakran túlteljesítsék a korábbi, paraméterszámban jóval nagyobb elődeiket.

A trend hosszú távon alapjaiban határozhatja meg a technológiai szektor és a mesterséges intelligenciával foglalkozó startup világ irányvonalait. Eddig a közvélemény és a befektetők többsége úgy vélte, hogy az AI fejlődésének legfőbb gátja a hardveres korlátokban, nevezetesen a chipek gyártási kapacitásában rejlik. Patel és Han elemzése azonban azt sugallja, hogy a valódi szűk keresztmetszetet a jövőben a magas minőségű, az emberi tudást és logikát hűen reprezentáló adatok korlátos elérhetősége jelentheti. Ez arra készteti az iparág óriásait, mint az OpenAI, a Google vagy az Anthropic, hogy új utakat keressenek az adatszerzésben. Előtérbe kerül a szintetikus adatok generálása, a speciális tudományos adatbázisok licencelése és az adatok tisztítására szolgáló intelligens algoritmusok fejlesztése.

Összességében látható, hogy a pretraining hatékonyságának drasztikus növekedése egy új korszakot nyitott az AI fejlesztésében. A hangsúly a nyers számítási kapacitásról és a monumentális skálázásról a precíziós adatfeldolgozás felé tolódik el. Ahhoz, hogy a jövő modelljei még okosabbak és hatékonyabbak legyenek, nem feltétlenül több adatot kell beléjük táplálni, hanem sokkal jobb minőségűt. Ez a felismerés kulcsfontosságú lehet a következő generációs GPT és más nagy nyelvi modellek tervezésekor, hiszen rávilágít, hogy a tudás alapja nem a gépi munka mennyisége, hanem az információ strukturáltsága és tisztasága.