Két open World Model jelent meg; az Alibaba várólistára tette a sajátját
- A Tencent open-source-sá tette a HY-World 2.0-t, egy multi-modális 3D world modelt, amely szöveget, képeket vagy videót szerkeszthető 3D jelenetekké (hálók és 3D Gaussian splats, egy renderelési módszer, amely fuzzy 3D „blobokat” használ a jelenetek ábrázolására) alakít, amelyeket közvetlenül beilleszthetsz Unity-be, Unreal-be vagy Blenderbe. Teljes kereskedelmi licenccel elérhető. A kód, a súlyok és egy Gradio demo mind élőben elérhetők GitHubon.
- Az NVIDIA ugyanazon a héten adta ki a Lyra 2.0-t a Hugging Face-en, egy 14B frameworköt, amely egyetlen 480×832-es képet tartós, felfedezhető 3D Gaussian jelenetté alakít, amelyen valós időben repülhetsz keresztül (paper, projektoldal). Licenc figyelmeztetés: csak kutatási célra, nem gyártásra, nem kereskedelmi kimenetre.
- Az Alibaba ugyanazon a napon indította el a Happy Oystert, amikor a Tencent open-source-sá tette a HY-World 2.0-t. Két üzemmóddal rendelkezik (Directing valós időben irányít egy generált jelenetet akár 3 percig 480p vagy 720p felbontásban; Wandering lehetővé teszi, hogy akár 1 percig mozogj egy generált világban WASD-vel). Hiba: korlátozott korai hozzáférés, nem open weights. Az Alibaba a cloudján keresztül akarja monetizálni a world model számításokat.
- Ha számít neked, a HuggingFace Merve Noyanja a HY-World 2.0-t és a Lyra 2.0-t párosította a hét két legfontosabb open-weight 3D kiadásaként.
A „World modellek”, ami ebben az esetben olyan AI rendszereket jelent, amelyek elegendő mértékben értik a 3D teret, a fizikát és az objektumok állandóságát ahhoz, hogy navigálható környezeteket generáljanak, alapvető infrastruktúrává válnak a robotika, a játékfejlesztés, a VR és az autonóm járművek számára. Ezen a héten idáig a legjobb munkák a Google DeepMind Genie paywallja, Fei-Fei Li World Labs API-ja vagy az NVIDIA enterprise toolingja mögött voltak lezárva. Mostantól a játékstúdiók, indie fejlesztők és robotikai kutatók ingyenesen lehívhatnak kereskedelmi célú súlyokat a Hugging Face-ről. A belépési költség több nagyságrenddel csökkent 48 óra alatt. Véleményünk: Az igazi jelzés itt az open-vs-closed megosztottság: a Tencent teljesen open-source-sá tette (kereskedelmi licenc, bárhol futtatható), mert hosszú távon játszik: a réteg kommercializálása, a profit az alkalmazásokon. Az NVIDIA csak kutatási célra tette elérhetővé, mert azt szeretné, hogy a kutatók szabadon kísérletezzenek anélkül, hogy kannibalizálnák az Omniverse üzletágát. Az Alibaba zárt korai hozzáférésre váltott, mert a célja az Alibaba Cloud bevétel, ugyanazt a forgatókönyvet futtatja, mint a Happy Horse videóval. Úgy véljük, az open tools-ok fognak nyerni a puszta elfogadottságon, lehetővé téve, hogy kereskedelmi alkalmazások épüljenek rájuk. De ami még fontosabb, hiszünk abban, hogy az ilyen world modellek lesznek az alapjai a konzisztens, koherens 3D világok generálásának játékokhoz és végül filmekhez is. Jó látni a haladást! ---