AI FEJLESZTÉS
A Google optimalizálja a Stable Diffusion képgenerálást Androidra és iPhone-ra
A Google kutatói publikáltak egy tanulmányt arról, hogyan tehető hatékonyabbá a Stable Diffusion modellek futtatása Android és Apple telefonokon. A kutatás "egy sor implementációs optimalizálásról szól nagy diffúziós modellekhez, amelyek az eddig jelentett leggyorsabb következtetési késleltetést érik el (kevesebb mint 12 másodperc Stable Diffusion 1.4 esetén INT8 kvantálás nélkül, egy 512 × 512-es képhez 20 iterációval) GPU-val felszerelt mobil eszközökön".
Amit tettek: Konkrétan a kutatók négy különálló innovációt halmoztak egymásra: Group Norm és GELU optimalizálás, részben összevont softmax, FlashAttention és Winograd Convolution. Ezen optimalizációk kombinálásával jelentős késleltetés-csökkentést sikerült elérniük két telefonon: "Jelentős általános késleltetés-csökkenés figyelhető meg a baseline-hoz képest mindkét eszközön: Samsung S23 Ultra (−52,2%); iPhone 14 Pro Max (−32,9%)".
- Group Norm és GELU optimalizálás
- Részben összevont softmax
- FlashAttention
- Winograd Convolution
- 12 másodperc alatti következtetési időt értek el 512x512-es képek esetén
- 52,2%-kal csökkentették a késleltetést Samsung S23 Ultra készüléken
- 32,9%-kal csökkentették a késleltetést iPhone 14 Pro Max készüléken
Miért fontos?
A legtöbb ipari folyamat néhány lépésből áll; az ismételhetőség javítása, a tervek finomítása és a miniatürizálás. A betanított AI modellek viszonylag azonnal megismételhetőek, majd a szoftver stack optimalizálásával finomítják őket, végül pedig miniatürizálják. Itt azt látjuk, hogy a Stable Diffusion-t finomítják az optimalizálás révén miniatürizált hardverplatformokra (telefonokra), ami a képgenerálás széleskörű iparosodásának egyértelmű tünete.