A kódoló startup Magic közzétette AGI-felkészültségi irányelveit a biztonsági vállalások érdekében
A Magic, egy rendkívül nagy kontextusablakkal rendelkező kódmodelleket építő startup, közzétett egy „AGI-felkészültségi irányelvet”. Ez az irányelv egy sor „ha-akkor” típusú kötelezettségvállalásból áll, amely biztosítékot jelent az olyan nagyon nagy teljesítményű rendszerek betanítása ellen, amelyek AGI-nek minősülhetnek. Az irányelv szellemiségében hasonló az Anthropic és az OpenAI felelős skálázási politikájához (Responsible Scaling Policy). A Magic vállalja, hogy mire a jelenlegi kódolási képességeket meghaladó modelleket telepít, bevezet egy teljes körű veszélyes képesség-értékelési rendszert és kidolgozza a mérséklési terveket a meghatározott fenyegetési modellekre vonatkozóan. A folyamat folyamatos nyomon követést foglal magában nyilvános és privát benchmarkok segítségével.
- Vállalás a veszélyes képességek értékelésére a legfejlettebb kódoló modellek bevezetése előtt.
- Fókusz négy elsődleges fenyegetési modellre: kiber-offenzíva, AI K+F, autonóm replikáció és adaptáció (ARA), valamint biológiai fegyverekkel kapcsolatos segítségnyújtás.
- A METR nevű mérési startup tanácsaival fejlesztették ki.
- Nyilvános és privát benchmarkok használata annak meghatározására, hogy a modellek mikor érik el a képességek határát.
Ez a megközelítés előrehozza a biztonsági mérésekbe való befektetéseket. Az AI-fejlesztés gyakori problémája a váratlan képességek felfedezése a megjelenés után. Az előzetes kötelezettségvállalás a várható visszaélések tesztelésére csökkenti a szerencsétlen meglepetések esélyét, még akkor is, ha nehéz előre látni olyan fenyegetéseket, amelyeket még el sem tudunk képzelni. ---