Hogyan futtassuk helyileg a Google Gemma LLM-jét telefonon

A mesterséges intelligencia fejlődésével egyre közelebb kerülünk ahhoz, hogy a nagy nyelvi modellek ne csak a hatalmas szerverparkokban, hanem a zsebünkben is elférjenek. A Google legújabb fejlesztése, a Gemma 2B modell most lehetővé teszi a felhasználók számára, hogy közvetlenül a saját okostelefonjukon futtassanak egy rendkívül fejlett AI-t. Ez a technológiai áttörés teljesen új megközelítést hoz a mindennapi mobilhasználatba, hiszen az edge computing, vagyis a helyi eszközön történő adatfeldolgozás révén a felhasználók anélkül kommunikálhatnak az LLM modellel, hogy az adataik elhagynák a készüléket. A helyi futtatás legnagyobb előnye, hogy maximális adatvédelmet biztosít, ráadásul aktív internetkapcsolat nélkül, teljesen offline módban is tökéletesen működik.

Az Apple ökoszisztémáját használók számára a folyamat egyszerű, bár igényel néhány lépést a hivatalos áruházon kívül. Az iPhone tulajdonosoknak első lépésként le kell tölteniük az Apple hivatalos bétatesztelő alkalmazását, a Testflightot. Ezt követően egy specifikus béta linken keresztül telepíthető az MLC-Chat nevű applikáció, amely a helyi modellek futtatásáért felelős keretrendszert biztosítja. Miután az alkalmazás sikeresen felkerült a telefonra, a felületén megjelenik az elérhető open-source modellek listája. Itt a Gemma 2B modell mellett található felhő ikonra kattintva indítható el a letöltés. Az MLC-Chat rugalmasságát mutatja, hogy a Google megoldása mellett más népszerű modelleket is kipróbálhatunk az iPhone-on, mint például a Mistral 7B-t vagy a Microsoft-féle Phi-2-t, így a technológia iránt érdeklődők könnyen összehasonlíthatják a különböző architektúrák teljesítményét.

Az Android platformot használóknak szintén az MLC-Chat nyújt megoldást, de a nyitottabb rendszernek köszönhetően a telepítés menete némileg eltér. Az Androidos eszközökre a hivatalos dokumentációból közvetlenül letölthető APK fájl segítségével lehet telepíteni az MLC-Chat demo alkalmazást. Ez a módszer kikerüli a hagyományos alkalmazásboltokat, és közvetlen hozzáférést biztosít a legfrissebb fejlesztői verzióhoz. Miután az APK fájl telepítése megtörtént, a felhasználók ugyanúgy hozzáférnek a Gemma 2B modellhez, mint az iOS-t futtató társaik, és kihasználhatják a hardverben rejlő GPU kapacitást a modell hatékony működtetéséhez.

Ez a technológiai váltás alapjaiban változtatja meg a digitális asszisztensekkel kapcsolatos elvárásainkat. A privát csevegés lehetősége egy olyan korban, amikor az adatbiztonság és a személyes információk védelme kulcsfontosságúvá vált, hatalmas lépés előre. Mivel a beszélgetések és a lekérdezések helyben, a telefon processzorán és memóriájában futnak le, a felhasználóknak nem kell aggódniuk amiatt, hogy harmadik felek vagy külső szerverek hozzáférnek a bizalmas adatokhoz. Ráadásul az internetkapcsolattól való függetlenség azt jelenti, hogy akár egy repülőúton, térerő nélküli területeken vagy külföldi utazás során is folyamatosan rendelkezésre áll egy intelligens, lokálisan futó AI partner a zsebünkben.