A DeepSeek bemutatta a Fire-Flyer 2 infrastruktúrát a hatékony, nagyskálájú AI-tanításhoz
A DeepSeek, egy neves kínai AI startup, közzétette a Fire-Flyer 2 részleteit, amely egy integrált hardver- és szoftverrendszer nagyskálájú tanításhoz. A tanulmány rávilágít arra, hogyan kerüli meg a vállalat az exportkorlátozásokat egy 10 000 darab NVIDIA A100 GPU-ból álló fürt kiépítésével (mivel a H100-asok korlátozás alá esnek), és egyedi szoftverek használatával a teljesítmény optimalizálására PCIe kapcsolatokon keresztül.
- A rendszer 10 000 A100 GPU-t használ, amelyeket PCIe-n keresztül kötöttek össze a nagy sebességű, saját fejlesztésű csatlakozók helyett.
- A kulcsfontosságú szoftverek közé tartozik a HFReduce a GPU-k közötti kommunikációhoz és a HaiScale a párhuzamosításhoz.
- A Fire-Flyer 2 az NVIDIA DGX-A100 teljesítményének 83%-át éri el GEMM benchmarkok során.
- Az egyedi kialakítás 40%-os csökkenést eredményez a GPU-költségekben és az energiafogyasztásban a standard architektúrákhoz képest.
Miért fontos?
Ez egyértelmű jele annak, hogyan birkóznak meg a kínai vállalatok az exportkorlátozásokkal: rendkívül jó szoftveres és hardveres tanítási rendszerek kidolgozásával a számukra elérhető eszközökből. Ez azt sugallja, hogy a kínai cégek hamarosan jobb kihasználtságot tudnak majd kicsikarni a GPU-ikból, mint sok nyugati laboratórium.