A Turing-díjas Richard Sutton szerint az LLM-ek zsákutcát jelentenek az AGI felé
Richard Sutton, a megerősítéses tanulás (reinforcement learning) úttörője, akit gyakran az „RL atyjának” neveznek, azt állítja, hogy az AI iparág Large Language Models fókuszú megközelítése alapvető hiba. Érvelése szerint a ChatGPT és a hasonló modellek egyszerűen az emberi beszédmintákat utánozzák, ahelyett, hogy valódi intelligenciát építenének valós tapasztalatokból és következményekből. Sutton javaslata szerint az intelligenciát az alapoktól kezdve kell felépíteni egy olyan architektúrán keresztül, amely folyamatosan tanul az érzékelések, cselekvések és jutalmak áramlásából, ahelyett, hogy hatalmas statikus tanítási folyamatokra támaszkodna.
- Az LLM-ek azt tanulják meg, hogyan jósolják meg, mit mondanának az emberek, ahelyett, hogy megtanulnák a világ tényleges működését.
- A modellekből hiányoznak a valódi célok a következő token megjósolásán túl.
- A jelenlegi AI-t nem lepik meg az eredmények, és nem tanul a közvetlen következményekből.
- Sutton egy új, OaK-nak nevezett architektúrát javasol a folyamatos, menet közbeni tanuláshoz.
- A valódi intelligencia próbálgatást igényel, hasonlóun ahhoz, ahogy egy ember megtanul biciklizni.
Ha Suttonnak igaza van, a jelenlegi LLM architektúrák végtelen skálázása soha nem fogja elérni az AGI-t, ami teljes fordulatot igényel az autonóm ágensek felé, amelyek saját motivációkat fejlesztenek ki.