AI KUTATÁS
A Video2Game rendszer egyetlen fotóból interaktív 3D játékvilágokat hoz létre
A University of Illinois Urbana-Champaign, a Shanghai Jiao Tong University és a Cornell University kutatói egy olyan rendszert fejlesztettek ki, amely képes egyetlen fotót 3D játékvilággá alakítani. Megközelítésük lényege egy olyan munkafolyamat, amely a 2D fotót neurális sugárzási mezővé (NeRF) konvertálja, a képen látható objektumokhoz fizikai tulajdonságokat rendel, majd a teljes jelenetet egy böngészőalapú játékmotorba helyezi át. Az eredmény egy olyan rendszer, amellyel egy fényképből bejárható játékvilágot alkothatunk, amelyben egy 3D karakter szabadon mozoghat.
- NeRF-et épít fel egy nagyszabású, végtelenített jelenet geometriai és vizuális információinak rögzítéséhez.
- A NeRF-et egy játékmotorral kompatibilis, neurális textúrájú mesh-é alakítja.
- Lehetővé teszi a hatékony, valós idejű renderinget új nézőpontokból.
- Alapszintű merevtest-fizikai interakciókat tesz lehetővé a generált környezetben.
- A Sketchbook játékmotort használja, amely a Three.js könyvtáron alapul és WebGL-t használ a megjelenítéshez.
Miért fontos?
Az ehhez hasonló kutatások megmutatják, milyen egyszerűen alakíthatjuk át a körülöttünk lévő világot az AI ágensek számára értelmezhető reprezentációkká. A digitális és a fizikai világ közötti határok elmosódnak, az alkalmazási lehetőségek pedig a videojátékoktól a nagy pontosságú robotikai szimulációkig terjednek.