TRENDEK
A lokális AI modellek alkalmassá válnak a gyakorlati munkára lakossági hardvereken
Sokáig tartottam magam ahhoz a hithez, hogy a lokális AI modellek nem használhatók gyakorlati munkára. Ennek két fő oka volt: sokkal butábbak, mint a ChatGPT vagy a Claude mögötti modellek, és túl nagyok ahhoz, hogy lakossági hardvereken – például egy Macbook Air-en – fussanak. Az open-source AI területén az elmúlt hónapokban bekövetkezett fejlesztések azonban mindkét problémát megoldották olyannyira, hogy a lokális AI mára életképessé vált.
- A 7 milliárd (7B) paraméteres modellek már hatékonyan futnak a régebbi MacBookokon is.
- A kisméretű, 1,5 milliárd (1.5B) paraméteres modellek képesek modern okostelefonokon futni.
- A jelenlegi 7-8B paraméteres open-source modellek hozzák az eredeti GPT-4o teljesítményét a GPQA Diamond benchmarkokon.
- A kínai open-source modellek elérik a legmodernebb technológiai szintet, miközben laptop-barátok maradnak.
Miért fontos?
A lokálisan futó, csúcsközeli intelligencia lehetővé teszi a felhasználók számára, hogy érzékeny adatokkal dolgozzanak anélkül, hogy aggódniuk kellene az adatok külső szerverekre történő feltöltése miatt. ---