A Self-Align technika szintetikus adatokat használ a hatékony nyelvmodellek beindításához
A CMU, az IBM Research és a UMass Amherst kutatói kidolgoztak egy módszert, amellyel AI által generált kimeneteket használnak jobb nyelvmodellek tanítására. A Self-Align technika nagyon hasonlít az Anthropic Constitutional AI megközelítéséhez, és végső soron a következőkből áll: kérjünk meg embereket, hogy írjanak néhány irányadó elvet az AI rendszer viselkedésére vonatkozóan, és kérjük meg az AI-t, hogy generálja le az adatokat, amelyekkel beindítható ebben a normatív keretben. Az átfogó cél olyan AI ágensek fejlesztése, amelyek képesek segítőkész, etikus és megbízható válaszokat adni a felhasználói kérdésekre, beleértve az ellenségeseket is, miközben proaktívan, nem kitérő módon kezelik a káros megkereséseket. Ennek demonstrálására a kutatók a Dromedary-t, egy LLaMA-65B súlyokon alapuló modellt tanítottak be.
- 1. lépés: Használjunk egy LLM-et szintetikus promptek generálására, és alkalmazzunk témaközpontú módszert a diverzitás növelésére.
- 2. lépés: Használjunk egy kis készletnyi ember által írt elvet az LLM irányítására kontextus alapú tanuláson (in-context learning) keresztül, hogy etikus válaszokat hozzon létre.
- 3. lépés: Finomhangoljuk az eredeti LLM-et a kiváló minőségű self-aligned válaszokkal, hogy ne legyen szükség explicit elvekre a promptekben.
- 4. lépés: Alkalmazzunk egy finomítási lépést a túl rövid vagy közvetett válaszok kezelésére.
- Hatékonyság: Kevesebb mint 300 sornyi emberi annotációt igényel (195 mag-prompt, 16 elv és 5 példa).
A self-align-hoz hasonló megközelítések két dolgot mutatnak nekünk: 1) a kortárs nyelvmodellek elég jók ahhoz, hogy kiváló minőségű adatokat generáljanak, és 2) ezek az adatok felhasználhatók a modell beindítására a magasabb teljesítmény elérése érdekében. Ez egy újabb példa arra, hogy 2023-ban az AI kutatás hogyan kezd el önmagára épülni. ---