A Prime Intellect elindítja a 32 milliárd paraméteres INTELLECT-2 modell decentralizált oktatását
A decentralizált AI-val foglalkozó Prime Intellect megkezdte az INTELLECT-2 oktatását, amely egy 32 milliárd paraméteres modell, és célja, hogy felvegye a versenyt a modern érvelő (reasoning) modellekkel. Decemberben a Prime Intellect kiadta az INTELLECT-1-et, egy 10 milliárd paraméteres modellt, amelyet elosztott módon tanítottak, augusztusban pedig egy 1 milliárd paraméteres modellt. A modell oktatása nyomon követhető – a cikk írásakor 18 különböző közreműködő tanította Amerika, Ausztrália és Észak-Európa területéről.
Prediction confirmed: Az Import AI 393. számában azt jósoltam, hogy 2025 áprilisára látni fogjuk az első 30 milliárd paraméteres elosztott oktatási folyamatot – az INTELLECT-2 tehát pontosan ütemterv szerint érkezik. Ilyen ütemben haladva azt jósolom, hogy 2025 decemberére látni fogunk egy 70-100 milliárdos tartományba eső folyamatot.
- Egy 32 milliárd paraméteres architektúrát céloz meg, amelyet érvelési feladatokra terveztek.
- 18 különböző közreműködőt foglal magában Amerika, Ausztrália és Észak-Európa területéről.
- Az 1 milliárdos és 10 milliárdos paraméterű modellek sikeres futtatásait követi.
- Célja a globálisan elosztott megerősítéses tanulás (reinforcement learning) életképességének bizonyítása.
Jelenleg sok AI-politika azon az elképzelésen alapul, hogy a nagy teljesítményű AI-rendszereket csak néhány olyan szervezet fogja betanítani, amely képes egyedül hatalmas mennyiségű számítási kapacitást felhalmozni. Ahogy az elosztott oktatási szoftverek fejlődnek, és egyre több bizonyíték születik az elosztott módon tanított jó modellekre, ez a dinamika megváltozhat – ha az INTELLECT-2-höz hasonló modellek beválnak és gazdasági értéket teremtenek, az új típusú szereplőket hozhat az AGI sakktáblájára: szervezetek laza szövetségeit, akik globálisan elosztott módon vonják össze számítási kapacitásukat a modellek betanításához. ---