MI Történik?

A Huawei egy nagyszabású mixture-of-experts (MoE) modellt tanított be körülbelül 6 000 „Ascend” processzorán. Ez egy korábbi munkára épül, amelyben egy figyelemre méltó denz modellt tanítottak ~8 000 „Ascend” processzoron. A két kutatási tanulmány együttesen rávilágít arra, hogy a Huawei jelentős erőforrásokat fektet abba a szoftverbe, amely szükséges ahhoz, hogy az Ascend chipeken ugyanolyan egyszerű legyen a tanítás, mint az NVIDIA chipeken. Mindkét tanulmány a kínai cégek azon technikai befektetéseinek jele, amelyek célja, hogy AI technológiai hátterüket függetlenítsék az amerikai tervezésű technológiáktól. A kapott MoE modell teljesítménye nagyjából egy szinten van a DeepSeek R1-gyel; 718 milliárd paramétert használ, ebből 39 milliárd aktív egy időben, szemben a DeepSeek 671 milliárd összes / 37 milliárd aktív paraméterével. A modell az R1-hez hasonló pontszámokat ér el, bizonyos orvosi értékeléseken és a széles körben használt GPQA-Diamond tudományos benchmarkon pedig le is győzi azt. A Huawei írja: „30,0%-os Model Flops Utilization (MFU) értéket és 1,46 millió Tokens Per Second (TPS) sebességet értünk el 6 000 Ascend NPU-n, szemben a 4 000 Ascend NPU-n mért 18,9%-os alap MFU-val és 0,61 millió TPS-sel.”