MI Történik?

A University of California, Irvine kutatói kidolgozták a LinguaLinked szoftvert, amely lehetővé teszi, hogy mobiltelefonok egy csoportja kollektíven futtasson és szolgáljon ki nyelvi modelleket. Ez a fajta kutatás kiemelt jelentőséggel bír az AI szabályozás szempontjából – a legtöbb AI irányelv ugyanis azon a feltételezésen alapul, hogy a felhőkarcoló infrastruktúra és a hatalmas adatközpontok központi ellenőrzési pontként szolgálnak az AI rendszerek számára. Ez a kutatás azonban megdönti ezt a feltételezést: ha valaki hozzáfér egy modell súlyaihoz, akkor "gerilla stílusban" is kiszolgálhatja azt egy seregnyi, ügyesen összeláncolt mobiltelefonon keresztül. A LinguaLinked fog egy nyelvi modellt, és feldarabolja azt, hogy több különálló mobileszközön lehessen tárolni, majd mintavételezni belőle. A kutatás során a HuggingFace BLOOM modelljének három változatával kísérleteztek (1,1 milliárd, 1,7 milliárd és 3 milliárd paraméteres változatok), négy telefont használva. A LinguaLinked három fő technikai jellemzője: egy modell-hozzárendelési technika az LLM szegmentálására és a különböző részek eszközökhöz igazítására; egy optimalizált adatátviteli mechanizmus az LLM szegmensek közötti áramlás biztosítására; valamint egy futásidejű terheléselosztó, amely figyeli és újraelosztja a feladatokat az eszközök között. A tesztek során elfogadható következtetési (inference) sebességet értek el az összes vizsgált modellnél, amit többszálú futtatással tovább javítottak. Az AI szabályozás szempontjából még lényegesebb, hogy a kutatók tervezik a LinguaLinked kiterjesztését a többeszközös, elosztott fine-tuning támogatására is. Ez megkönnyíti majd a modellek testreszabását a végfelhasználók eszközein, "utat nyitva a személyre szabott AI alkalmazások előtt az adatvédelem megőrzése mellett".