A "Nested Learning" paradigma megoldást kínál az AI folyamatos memóriájának korlátaira
A "Nested Learning" (beágyazott tanulás) célja az AI "aranyhal-memória" problémájának megoldása egy új, folyamatos tanulást biztosító gépi tanulási paradigma bevezetésével. A modelleket különböző sebességgel futó, összekapcsolt optimalizálási problémákként kezeli, utánozva azt, ahogy az emberi agy egyszerre tartja fenn a rövid és hosszú távú memóriát. Ez lehetővé teszi, hogy a modellek idővel tudást halmozzanak fel anélkül, hogy elfelejtenék a korábbi információkat.
- Több-frekvenciás frissítések: A gyorsan változó komponensek kezelik a közvetlen kontextust, míg a lassan változók megőrzik a stabil tudást
- Beágyazott optimalizálás: A modelleket különböző sebességgel futó, egymással összefüggő optimalizálási feladatokként kezeli
- Folytonos memóriarendszerek: Utánozza, ahogy az emberi agy szimultán tartja fenn a rövid és hosszú távú memóriát
- Hope architektúra: Alacsonyabb perplexitást ért el, mint a transzformerek, miközben lehetővé tette a valódi folyamatos tanulást
A Nested Learning lehetővé teszi a tartós memóriát a jövőbeli AI modellek számára. Ezek a funkciók együtt olyan AI modelleket hoznak létre, amelyek idővel tudást halmoznak fel felejtés nélkül... ami azt jelenti, hogy a jövőbeli modellek a használat során okosabbá válnak, szakértelmet építve a beszélgetések és tanítási folyamatok során, ahelyett, hogy minden alkalommal tiszta lappal indulnának. ---