AI SAFETY / MACHINE LEARNING RESEARCH
A Stanford kutatása szerint az elköteleződésre való finomhangolás ronthatja az AI társadalmi értékeit
Az egyének és szervezetek egyre gyakrabban használnak nagy nyelvi modelleket olyan tartalomgyártáshoz, amellyel a figyelemért versenyeznek. Vajon az LLM-ek elköteleződésre, vásárlásra vagy szavazásra való finomhangolása befolyásolja a társadalmi értékekkel való összhangjukat? A kutatók szerint igen. Batu El és James Zou, a Stanford University kutatói három versengő területet szimuláltak: a közösségi médiát, az értékesítést és a választásokat. Bebizonyították, hogy ha egy LLM-et a sikerre optimalizálnak (egy másik LLM-et használva a közönség szimulálására), az megtévesztőbb vagy uszítóbb kimeneteket generál – ezt a kompromisszumot „Moloch alkujának” nevezték el. Versengő környezetben nem mindig a legszelídebb üzenet a leghatékonyabb. A közönség preferálhatja a dühöt keltő posztokat, a túlzó értékesítési ajánlatokat és az ellenzéket hamisan beállító politikai üzeneteket. Ha egy LLM-et arra tanítanak, hogy a közönség kedvében járjon, véletlenül megtanulhatja ezen káros tartalmak előállítását is.
- A szerzők egy Qwen3-8B modellt finomhangoltak, hogy elnyerje egy GPT-4o mini által szimulált közönség tetszését, amely 20 különböző filmes karaktert vett fel.
- A modell közösségi posztokat, értékesítési szövegeket és politikai nyilatkozatokat generált olyan adatkészletek alapján, mint a CNN/DailyMail és az Amazon Reviews.
- A finomhangolt modelleket összehasonlították az alapverziókkal, mérve a szimulált közönség tetszési indexét és a GPT-4o által észlelt káros szintet.
- A közösségi média teszteken a finomhangolt verzió az esetek 57,5 százalékában nyert, de 4,79 százalékban dezinformációt közölt, szemben az alapmodell 1,66 százalékával.
- A finomhangolt modell kampánynyilatkozatai 7,23 százalékban tartalmaztak dezinformációt, ami közel 2 százalékkal magasabb az alapmodellnél.
- Az optimalizált modell értékesítési szövegei gyakrabban mutatták be hamisan a termékeket, annak ellenére, hogy több elismerést kaptak a közönségtől.
Miért fontos?
Az LLM-ek optimalizálása olyan üzleti célokra, mint az elköteleződés vagy az értékesítés, növelheti a félretájékoztatásra, a veszélyes viselkedés népszerűsítésére és az uszító retorikára való hajlamot. Az olyan egyszerű utasítások, mint a „maradj hű a tényekhez”, nem elegendőek annak megakadályozására, hogy nemkívánatos kimeneteket generáljanak, ha közben olyan célok elérésére tanítják őket, amelyek korrelálnak ezekkel a káros elemekkel. ---