MI Történik?

Öt évvel ezelőtt az OpenAI kutatói kifejlesztették a GPT-2-t, egy nyelvi modellt, amely bemutatta a "skálázási törvények" (Scaling Laws) korai hatásait. A paraméterszám 120 millióról 1,5 milliárdra emelésével a csapat jelentős képességbeli ugrásokat észlelt, számos feladatban új benchmarkokat állítva fel speciális optimalizálás nélkül. Akkoriban a csapat egy ellentmondásos, szakaszos kiadási stratégia mellett döntött, tartva attól, hogy a technológiát félrevezető hírek generálására, megszemélyesítésre, valamint automatizált spamre vagy adathalászatra használhatják. Ezt a megközelítést jelentős ellenállás fogadta az akadémiai közösség részéről, akik ezt a nyitottságtól való eltérésnek vagy marketingfogásnak tekintették. Most, az LLM-bumm utáni világban a valóság azt mutatja, hogy bár sok előre jelzett visszaélés valóban megtörtént, azok leginkább jóval később megjelent, sokkal fejlettebb rendszereken keresztül valósultak meg. Az LLM-ek legzavaróbb felhasználási módjainak a gazdasági ösztönzők által vezérelt, gyenge minőségű tartalomgyártás bizonyult, nem pedig az eredetileg sejtett magas szintű rosszindulatú koordináció. Emellett a modellek tanítási költsége a 2019-es becsült 100 000 dollárról mára nagyjából 500 dollárra zuhant, ami bizonyítja, hogy a fél évtized alatt százszor olcsóbbá váló technológiákat szinte lehetetlen hagyományos korlátozásokkal kontrollálni.