A Pathway poszt-transformer architektúrát fejleszt az időbeli érveléshez
Zuzanna Stamirowska, a Pathway vezérigazgatója bemutatta a Baby Dragon Hatchling (BDH) nevű új architektúrát, amely túlmutat a hagyományos Transformer modellen. A projektet a Transformer egyik társfeltalálója, Lukasz Kaiser is támogatja. A BDH célja a valódi időbeli érvelés és a folyamatos tanulás (continual learning) bevezetése. Ez lehetővé teszi az AI számára, hogy valós idejű adatfolyamokból tanuljon, ahelyett, hogy statikus, gyorsan elavuló tanítási adathalmazokra támaszkodna.
- A BDH architektúrát az agy működése ihlette, és arra fókuszál, hogyan dolgozzák fel az emberek az időt és a sorozatokat.
- Bevezeti a „valódi időbeli érvelést”, hogy leküzdje a standard Transformerek korlátait.
- A modell támogatja a folyamatos tanulást, ami azt jelenti, hogy teljes újratanítás nélkül képes frissíteni tudását.
- A projektet Lukasz Kaiser támogatja, aki az „Attention is All You Need” tanulmány egyik szerzője.
- Az architektúrát valós idejű adatfeldolgozást igénylő vállalati alkalmazásokhoz szánják.
Miért fontos?
Ahogy az iparág eléri a Transformer skálázhatóságának határait, új architektúrákra van szükség – mint amilyen a BDH –, hogy hatékonyabban kezeljék a valós idejű adatokat és a hosszú távú memóriát. ---