A Netflix kiadta fizika-érzékeny AI-ját videószerkesztéshez
A Netflix most adta ki a VOID-ot, egy open-source keretrendszert, amelyet arra terveztek, hogy videóobjektumokat töröljön, miközben újraírja a hozzájuk kapcsolódó fizikát, a tipikus törlési és inpainting eszközök helyett.
- A meglévő eltávolító eszközök csak ráfestenek a háttérre, anélkül, hogy ténylegesen elemeznék azokat az ok-okozati összefüggéseket, amelyeket ezek a szerkesztések a szélesebb jelenetben bevezetnek.
- A VOID maszkot használ, amely feltérképezi, mit kell törölni, mi van fizikailag érintve, és mit kell megtartani, majd egy bíró modell feltárja a következményeket.
- A VOID olyan fizikát is képes kezelni, amire soha nem képezték ki, például egy lufi lebegését a tartó eltávolítása után, vagy a blokkok nem esését, ha egyet a láncból törölnek.
- 25 értékelő hasonlította össze a VOID-ot hat alapmodell, köztük a Runway ellen, és az esetek majdnem 2/3-ában a Netflix eredményeit preferálták.
Miért fontos?
Ez a Netflix Research első nyilvános AI kiadása, és jelzi, merre tart a videózás területe – intuitív rendszerek felé, amelyek nem csak törölnek objektumokat a felvételekről, mint egy képszerkesztő, hanem képesek valójában szimulálni és módosítani a jelenet fizikáját a változtatások alapján a jobb irányíthatóság és a valós gyártási felhasználás érdekében. ---
Kapcsolódó hírek