MI Történik?

A Black Forest Labs kutatói bemutatták a Self-Flow-t, egy önfelügyelt flow matching keretrendszert, amely a generatív képességek mellett szemantikai reprezentációkat is tanul. A módszer Dual-Timestep Scheduling-et használ, amely különböző zajszinteket alkalmaz a tokeneken, információ-aszimmetriát hozva létre, ami arra kényszeríti a modelleket, hogy a sérült bemenetekből következtessenek a hiányzó információkra. Egyetlen, 4 milliárd paraméteres, 200 millió képen és 6 millió videón betanított modell felülmúlta a standard flow matchinget és a REPA-t kép-, videó- és hanggenerálás terén mindössze 100 000 nagyfelbontású finomhangolási lépés után. A megközelítés jobb skálázódási viselkedést mutat a REPA-hoz képest, a teljesítménybeli különbség pedig növekszik, ahogy a modell mérete 290 millióról 1 milliárd paraméterre nő. A Self-Flow lehetővé teszi a hatékony multimodális betanítást is egyetlen modellen.