Az NVIDIA Nemotron-3 120B modellje nagy sebességgel fut helyi GPU-kon
Az NVIDIA kifejlesztette a 120 milliárd paraméteres Nemotron-3 AI modellt, amely a Mixture of Experts (MoE) technológiának köszönhetően olyan gyorsan fut, mint egy 12 milliárd paraméteres modell. Ez az építészeti megoldás lehetővé teszi, hogy a modell egyidejűleg a paramétereinek csak 10%-át aktiválja, így otthoni hardvereken, például egy RTX 4000-en is futtatható, a Meta Llama 70B sebességének háromszorosával. Az NVIDIA ingyenesen teszi közzé a modellt, az open-source AI-t alapvető infrastruktúraként kezelve. Elérhető egy „nano” verzió is a korlátozott memóriával rendelkező eszközök számára, minden eddiginél elérhetőbbé téve a magas szintű AI-t.
- Mixture of Experts (MoE) technológiát használ, hogy egyszerre csak 12 milliárd paramétert aktiváljon
- Helyi GPU-kon is futtatható, a Llama 70B méretének közel duplája mellett 3-szoros sebességet nyújtva
- Ingyenesen letölthető olyan platformokról, mint a Hugging Face és az NVIDIA Build
- Corey Robinson sikeresen tesztelte a 120B modellt egy RTX 4000-es kártyán
- Úgy tervezték, hogy az NVIDIA új NemoClaw futtatókörnyezetének alapértelmezett „agya” legyen
Az NVIDIA a hangsúlyt a nagy teljesítményű helyi AI-ra helyezi át. Azzal, hogy a legmodernebb modelleket elérhetővé teszik fogyasztói hardvereken, decentralizálják az AI hatalmát, és arra ösztönzik a fejlesztőket, hogy saját, finomhangolt ágenseket építsenek és irányítsanak anélkül, hogy hatalmas adatközpontokra lenne szükségük. ---