MI Történik?

Jascha Sohl-Dickstein kutató független vizsgálatot végzett a neurális hálózatok tanításáról, és valami olyasmit fedezett fel, ami egyszerre intuitív és hátborzongató: „a neurális hálózatok stabil és divergens tanításához vezető hiperparaméterei közötti határvonal... minden tesztelt konfigurációban fraktál jellegű, több mint tíz nagyságrenden keresztül.” Ahhoz, hogy megértsük, miért érdekes ez az eredmény, emlékeznünk kell a neurális hálók tanításának módjára: „Amikor egy neurális hálózatot tanítunk, egy sokváltozós függvényt (egy gradient descent lépést) iterálunk (a neurális hálózat paramétereit)”, írja. „A gradient descent iterált lépéseiről ismert, hogy bifurkációs határokat mutatnak a konvergáló vagy divergens tanítási folyamatokat eredményező hiperparaméterek között. A neurális hálózat tanítása során elért végső hibaérték (loss value) szintén kaotikus függést mutat a hiperparaméterektől.” Más szóval, amikor neurális hálókat tanítunk, egy csomó olyan hiperparamétert választunk ki, amiről úgy gondoljuk, hogy idővel a hálózat konvergenciájához vezet. Ha elrontjuk a hiperparamétereket, a tanítás megakadhat vagy teljesen sikertelen lehet.