A Google ML Drift keretrendszere jelentősen optimalizálja a helyi AI modellek futtatását
A Google létrehozta az ML Driftet, egy szoftvert, amely hatékonyabbá teszi az AI rendszerek futtatását asztali számítógépeken, laptopokon és telefonokon. Az ML Drift egy saját fejlesztésű „keretrendszer, amely kiterjeszti a legkorszerűbb GPU-gyorsított következtetési motorok képességeit”, részben az adatelrendezések és a kernelválasztás optimalizálásával az AI rendszerek futtatásához. Az ML Driftben az a legérdekesebb, hogy rávilágít a mai AI rendszerek optimalizálatlanságára – az a tény, hogy a Google jelentős javulást tud elérni, jól mutatja, mennyire új még a generatív modellek helyi futtatásának koncepciója.
- Három backendet használ: OpenAL, Metal és WebGPU
- Arm Mali, Qualcomm Adreno, Intel, NVIDIA és Apple Silicon GPU-kon tesztelték
- Kétszámjegyű növekedést mutatott a Stable Diffusion 1.4-nél mobil GPU-kon
- Több mint egy másodperccel gyorsabb az Apple CoreML-jénél képgenerálás során egy M1 Ultra processzoron
Az AI technológia nagy részének az a sorsa, hogy mindig elérhető és helyileg telepítve legyen a mindennapi hardvereken, ahelyett, hogy csak felhőalapú szolgáltatásként (SaaS) létezne. Az olyan szoftverek, mint az ML Drift, bepillantást engednek abba, hogyan fektetnek be a tech-óriások az ezt a jövőt lehetővé tevő technológiákba. ---