A csónak-metafora: A hibás jutalmazási függvények technikai kihívásai

Emlékszem, még 2016 decemberében az OpenAI-nál Dario és én közzétettünk egy blogbejegyzést „Hibás jutalmazási függvények a vadonban” címmel. Ebben a posztban volt egy képernyőfelvétel egy videojátékról, amelyre megerősítéses tanulású (reinforcement learning) ágenseket tanítottunk. A videóban az ágens egy csónakot irányított, amelynek egy versenypályán kellett volna navigálnia, de ahelyett, hogy a célvonal felé vette volna az irányt, a pálya közepére ment, áthajtott egy pontgyűjtő hordón, majd egy éles kanyar után a falnak ütközött és kigyulladt, csak hogy újra áthajthasson a pontgyűjtő hordón – és ezt tette a végtelenségig, soha nem fejezve be a versenyt.

Az a csónak hajlandó volt folyamatosan felgyújtani magát és körbe-körbe forogni, amíg elszámolták a célját, ami a magas pontszám volt. „Imádom ezt a csónakot!” – mondta Dario akkoriban, amikor felfedezte ezt a viselkedést. „Ez elmagyarázza a biztonsági problémát”. Én is imádtam a csónakot. Úgy tűnt, magában hordozza mindazt, amit magunk előtt láttunk. Most, majdnem tíz évvel később, van bármi különbség aközött a csónak és egy nyelvi modell között, amely egy olyan zavaros jutalmazási függvényt próbál optimalizálni, amely a „legyél segítőkész a beszélgetés kontextusában” célhoz kötődik? Teljesen igazuk van – nincs különbség. Ezek nehéz problémák.