NVIDIA
Laptopon is futtatható AI-t készített az Nvidia és a Mistral
Az Nvidia és a Mistral megjelentette a Mistral-NeMo-Minitron 8B-t, egy rendkívül pontos, kisméretű nyelvi modellt, amely hatékonyan futtatható laptopokon és PC-ken.
- A modell olyan optimalizációs technikákat alkalmaz, mint a pruning (bizonyos súlyok eltávolítása) és a desztilláció (a megkurtított modell újratanítása egy kis adathalmazon), hogy kisebb méret mellett is nagy pontosságot érjen el.
- Ezek az optimalizációk akár 40-szeres költségmegtakarítást eredményeztek a nyers számítási kapacitás terén a tanítás során.
- A laptopok és PC-k helyben (locally) futtathatják a modellt a gyorsabb és biztonságosabb AI-interakciók érdekében.
- A Minitron 8B kilenc nyelvi alapú AI-benchmarkban is az élen áll a hasonló méretű modellek között, a nyelvi megértéstől kezdve az érvelésen át a kódolásig.
Miért fontos?
A laptopokon és PC-ken helyben futtatható AI-modellek kisebb függőséget jelentenek a felhőszolgáltatásoktól, javítják az adatvédelmet és gyorsabb válaszidőt biztosítanak. Ahogy ez a technológia fejlődik, hamarosan fejlett AI-val találkozhatunk mindenben, az okostelefonoktól és óráktól kezdve a háztartási gépekig. ---