Az Apple kutatást tett közzé a nagy nyelvi modellek korlátozott memórián való futtatásáról
Az Apple kutatói a közelmúltban egy olyan új tanulmányt publikáltak, amely alapjaiban változtathatja meg a mesterséges intelligencia működését a hordozható eszközökön. A szakértők egy áttörést jelentő módszert vázoltak fel, amely lehetővé teszi a nagy nyelvi modellek, azaz az LLM-ek hatékony futtatását korlátozott memóriakapacitással rendelkező hardvereken. Ezzel a fejlesztéssel az AI modellek akkor is zavartalanul működhetnek az olyan eszközökön, mint az iPhone-ok, ha a futtatni kívánt modell mérete meghaladja a készülékben rendelkezésre álló rendszermemóriát. Ez az optimalizálás kritikus lépést jelent a jövő technológiája felé, hiszen lehetővé teszi a nagy teljesítményű, eszközön futó, úgynevezett on-device generatív AI funkciók megvalósítását, méghozzá úgy, hogy ahhoz nincs szükség költséges és lassabb felhőalapú feldolgozásra.
A technológia jelentősége abban rejlik, hogy eddig a fejlett generatív AI modellek futtatása gyakran komoly akadályokba ütközött az okostelefonoknál a szűkös hardveres erőforrások miatt. Míg a nagyobb modellek teljesítménye lenyűgöző, futtatásuk általában hatalmas memória- és számítási kapacitást igényel, ami az otthoni felhasználók számára eddig csak a felhőalapú szolgáltatásokon keresztül volt elérhető. Az Apple kutatói által kidolgozott módszer azonban hatékonyan hidalja át ezt a szakadékot, lehetővé téve, hogy a felhasználók adatainak védelme érdekében az AI a készüléken maradjon, miközben továbbra is képes komplex feladatok elvégzésére. Ezzel nemcsak a válaszidő csökkenhet, de az adatbiztonság is javul, hiszen az érzékeny információkat nem kell a felhőbe továbbítani a feldolgozáshoz.
Ez a fejlesztés új korszakot nyithat a mobilalkalmazások világában, ahol a generatív AI már nem lesz különálló, távoli szolgáltatás, hanem az operációs rendszer integrált részévé válhat. A kutatók által elért áttörés különösen fontos az Apple számára, amely egyre nagyobb hangsúlyt fektet az eszközön futó AI megoldások fejlesztésére. Mivel a technológia képes alkalmazkodni a korlátozott memóriához, a jövő iPhone-jai és egyéb Apple eszközei sokkal intelligensebbek lehetnek, anélkül, hogy a felhasználóknak kompromisszumot kellene kötniük a sebesség vagy a készülék üzemideje terén. Ez az irány nem csupán technológiai bravúr, hanem egy stratégiai lépés is, amely tovább erősítheti a cég pozícióját a versenyképes AI-piacon, ahol a felhasználói élmény és az adatvédelem az egyik legfőbb szempont.