A HuggingFace elindítja a „Boom” projektet egy 100 milliárd paraméteres modell tanítására elosztott számítási kapacitással
A HuggingFace elindította a „Boom” projektet, melynek célja egy 70-100 milliárd paraméteres, kizárólag dekóder alapú Transformer nyelvi modell betanítása több mint 20 billió tokenen. A projekt az elosztott tanítást hivatott validálni több különböző adatközpont-üzemeltető számítási erőforrásainak egyidejű használatával. A HuggingFace jelenleg a projekt validálását végzi, a kísérleti program indítását pedig a 2025 márciusi/áprilisi időszakra tervezi.
- A becsült számítási igény megközelítőleg 5 millió H100-óra.
- A folyamat során nagyjából 10 különböző adatközpontból származó, egyenként 512 darab H100-as GPU-t tartalmazó egységet használnak fel.
- A csapat 12 adatközpont-üzemeltetővel tárgyal, és már 6 közülük megerősítette a számítási kapacitást.
- A projekt valós tesztként szolgál a DiLoCo-stílusú elosztott tanítási koncepciókhoz.
Ha a HuggingFace sikerrel jár, bebizonyítja, hogy masszív, világszínvonalú modellek taníthatók elszórt számítási „blobok” használatával is, nem csak egyetlen szuperszámítógépen. Ez azonnali és jelentős hatással lesz az AI-fejlesztés szabályozására és a számítási erőforrások globális aggregációjára. ---