AI OKTÁTÁS
A RedPajama kezdeményezés 1,2 billió tokenes nyílt forráskódú tanító adatbázist indított el
A Together bejelentette a RedPajama-t, egy olyan kezdeményezést, amelynek célja vezető, teljesen nyílt forráskódú LLM-ek létrehozása. A projekt egy masszív, 1,2 billió tokenes adatbázis közzétételével indult, amelynek célja, hogy a közösség számára biztosítsa a zárt rendszerekkel vetekedő modellek betanításához szükséges kiváló minőségű adatokat.
- Az adatbázis 1,2 billió tokent tartalmaz válogatott tanító adatokból
- Célja, hogy reprodukálja a csúcskategóriás zárt modellekben használt adatminőséget
- Kiegészíti az olyan egyéb adatmegosztásokat, mint a LAION Open Assistant Conversational adatbázisa
- Az Open Assistant adatbázis 600 ezer ember által generált pontot tartalmaz 35 nyelven
Miért fontos?
Az adat az AI oktatásának legkritikusabb összetevője. A hatalmas, kiváló minőségű adatbázisok nyílt forráskódúvá tételével a közösség képesebb modelleket taníthat be a nagy technológiai cégek korlátozásai nélkül.