AI OKTÁTÁS
A Prime Intellect 1,4 millió mintát tett közzé érvelési modellek betanításához
Az elosztott AI-kutatással foglalkozó startup, a Prime Intellect közzétette a SYNTHETIC-1-et, amely egy 1,4 millió érvelési példából álló adatkészlet, a DeepSeek R1-en keresztül biztosított chain-of-thought gondolatmenetekkel kiegészítve. Múlt hónapban megjósolták, hogy a DeepSeek R1 megjelenése megkönnyíti majd az új érvelési adatkészletek létrehozását, amelyekkel hatékony érvelési modellek taníthatók, és a Prime Intellect be is bizonyította ezt. Az adatkészlet célja az érvelési modellek tanításának elősegítése hitelesített érvelési folyamatok biztosításával a matematika, a kódolás és a tudományok területén.
Az adatkészlet kiváló minőségű feladatokból és ellenőrzőkből áll, beleértve a programozottan ellenőrizhető problémákat – például egységtesztekkel ellátott kódolási feladatokat – és az LLM bírákkal ellenőrzött nyitott végű érvelési kihívásokat. Ez jelentős lépést jelent a legmodernebb érvelési modellek felé, mivel olyan „cold-start” szintetikus adatokat generál, amelyek alapvetőek a megerősítéses tanuláshoz (reinforcement learning).
- Az adatkészlet 777 ezer matematikai feladatot és 144 ezer kódolási problémát tartalmaz Python, Javascript, Rust és C++ nyelveken.
- Tartalmaz 70 ezer valós szoftverfejlesztési problémát és 61 ezer szintetikus kódértelmezési feladatot.
- A kiadvány része 313 ezer nyitott végű STEM-kérdés is.
- Az adatok a DeepSeek-R1-et használják a kiváló minőségű chain-of-thought gondolatmenetek biztosításához.
Miért fontos?
Így néz ki egy öngerjesztő fejlődési ciklus rekurzív elemekkel. Egy nagy teljesítményű, nyílt rendszer kiváló minőségű érvelési adatokat generál, amelyeket aztán a meglévő adatkészletek bővítésére használnak, hogy még erősebb és szélesebb körben elérhető modelleket tanítsanak. Ez a folyamat azt sugallja, hogy az AI-fejlesztés egyre gyorsabbá válik. ---