A Meta megjelentette a LeJePA-t, Yann LeCun AI-legenda utolsó tanulmányát
A Meta LeJePA-ja Yann LeCun utolsó kutatási hozzájárulása a távozása előtt. A tanulmány bizonyítja, hogy az izotróp Gauss-eloszlások matematikailag optimálisak az öntanító tanuláshoz (self-supervised learning). Ez biztosítja, hogy a modellek belső információ-reprezentációja egy tökéletes gömb alakú felhőben rendeződjön el, ahol egyik irány sem mesterségesen fontosabb a másiknál, elkerülve a korábbi módszerek "összenyomott folt" (squashed blob) effektusát.
- Bizonyítja, hogy az izotróp Gauss-eloszlások matematikailag optimálisak a self-supervised learning folyamatokhoz
- Egyetlen hiperparaméter helyettesít több tucat heurisztikus trükköt
- Lineáris komplexitás: Mindössze 50 sornyi kódot használ az elosztott implementációhoz
- 79%-os ImageNet pontosságot ér el rögzített gerinchálózattal (frozen backbone)
Mindez elméletileg megalapozottá és gyakorlatilag megvalósíthatóvá teszi a világmodellek (olyan AI rendszerek, amelyek értik a fizikai világ működését, megjósolják a kimeneteleket és ennek megfelelően terveznek) építését egyszerű, bizonyítható módszerekkel a törékeny megoldások helyett. ---