AI INFRASTRUKTÚRA
A Microsoft Research Lite-GPU-k és optikai kommunikáció használatát javasolja klaszterekhez
A Microsoft Research az AI adatközpontok kialakításának megváltoztatását fontolgatja: a hatalmas, energiaéhes chipek helyett „Lite-GPU” klaszterek felé mozdulnának el. Ezeket a kisebb chipeket nagy sebességű optikai kommunikáció kötné össze, amely elektromosság helyett fényt használ az adatátvitelhez. Ez a megközelítés a gyártási nehézségeket és az olyan csúcskategóriás hardverekkel kapcsolatos energiasűrűségi problémákat hivatott megoldani, mint a H100 és a B200.
- A kisebb GPU-k gyártási és csomagolási költségei jelentősen alacsonyabbak a nagy chipekénél.
- A Lite-GPU-k magasabb sávszélesség-számítási arányt és alacsonyabb energiasűrűséget kínálnak.
- Az optikai kommunikáció lehetővé teszi a nagy chipek szétbontását jelentős teljesítményveszteség nélkül.
- A Llama 3-405B modellel végzett szimulációk a H100-as klaszterekével megegyező vagy azt meghaladó teljesítményt mutatnak.
- A kialakítás egyszerűsíti a hűtési igényeket és sűrűbb integrációt tesz lehetővé.
Miért fontos?
Ez a dizájn a biológiai agyi struktúrákat utánozza a csomópontonkénti számítási kapacitás csökkentésével és a konnektivitás maximalizálásával, ami potenciálisan hatékonyabb, skálázhatóbb és könnyebben gyártható AI infrastruktúrához vezethet.