Az Arc Institute bemutatta az Evo2 generatív modellt genomi szekvencia-modellezéshez
Az Arc Institute kiadta az Evo2-t, egy nagyszabású biológiai generatív modellt, amely emberektől, növényektől, baktériumoktól és más többsejtű fajoktól származó információkat tartalmaz. A DNS statisztikai tulajdonságainak 9 billió genomi szekvencia-tokenen keresztül történő megtanulásával az Evo 2 képes megjósolni a mutációs hatásokat a fehérjefunkciókra, az ncRNS-funkciókra és az organizmusok rátermettségére (fitness). „Az Evo 2 az élet fájának olyan általános szintű ismeretével rendelkezik, amely számos feladathoz hasznos, a betegségeket okozó mutációk előrejelzésétől kezdve a mesterséges élet potenciális kódjának megtervezéséig” – írják a kutatók.
- Az Evo2 7 milliárd és 40 milliárd paraméteres változatokban érhető el, amelyeket 9,3 billió nukleotidon tanítottak.
- A modell a StripedHyena 2 architektúrát használja, amely egy konvolúciós multi-hibrid architektúra, és hosszú kontextusok esetén akár 3-szor gyorsabb a Transformers-nél.
- Akár 1 millió tokenes kontextusablakkal tanították, hogy felismerje az összefüggéseket a távoli genomi szakaszok között.
- Az értelmezhetőségi kutatások olyan belső jellemzőket találtak, amelyek összhangban vannak az ismert biológiai fogalmakkal, például a mobilis genetikai elemekkel és a fehérjestruktúrákkal.
Az Evo2 újabb bizonyíték arra, hogy a next-token prediction paradigma képes automatizálni a tudomány jelentős részeit. Rávilágít arra, hogyan fejleszthetnek a nagyszabású modellek belső logikai képességeket az összetett biológiai minták elemzéséhez, amelyek idővel meghaladhatják az emberi felismerőképességet. ---