AI INNOVÁCIÓ
A Sakana AI kifejlesztette az Evolutionary Model Merge eljárást meglévő rendszerek összeillesztésére
A Sakana AI kutatói kifejlesztettek egy "Evolutionary Model Merge" (evolúciós modell-összevonás) nevű technikát, amely lehetővé teszi a már meglévő AI rendszerek összefűzését. Anélkül, hogy pénzt költenének tanításra vagy akár finomhangolásra (finetuning), képesek egyfajta "1+1 = 3" műveletet végrehajtani: meglévő modellekből varrnak össze újakat, így valami olyat kapnak, ami nagyobb, mint a részek összege.
A módszer evolúciós technikákat használ, hogy hatékonyan megtalálja a legjobb módszereket a különböző modellek kombinálására a nyílt forráskódú modellek hatalmas tárházából. Ezt a modellek adatfolyam-térben (data flow space) és paramétertérben (parameter space) történő egyesítésével érik el.
- Adatfolyam-tér (DFS): Optimalizálja az interfész útvonalát, amelyet a tokenek követnek a különböző modellek hálózati rétegein keresztül.
- Paramétertér (PS): Több alapmodell (foundation model) súlyait integrálja egyetlen egységbe olyan evolúciós algoritmusok használatával, mint a CMA-ES.
- Eredmények: Egy továbbfejlesztett 7 milliárd paraméteres japán matematikai LLM túlszárnyalta néhány korábbi 70 milliárd paraméteres modell teljesítményét.
- Vizuális képesség: Létrehoztak egy japán vizuális nyelvi modellt (VLM), amely magas pontszámot ért el a kultúraspecifikus vizuális megértési benchmarkokon.
Miért fontos?
Ez a technika lehetővé teszi csúcskategóriás alapmodellek létrehozását gradiens-alapú tanítás vagy masszív számítási erőforrások nélkül. Kihívást jelent a jelenlegi paradigmának, amely szerint az AI fejlődése a számítási kapacitás vagy a nagyüzemi modellfejlesztés korlátozásával kontrollálható. ---