A nyelvi modellek megváltoztatják a nézeteiket beszélgetés közben
A nyelvi modelleknek nincsenek túl rögzült nézeteik, és meg lehet változtatni a véleményüket:…Ha meg akarod változtatni egy LLM véleményét, csak beszélgess vele egy ideig… Íme néhány intuitív kutatás a CMU, Princeton és Stanford egyetemekről, amely azt mutatja, hogy a nyelvi modellek képesek megváltoztatni kijelentett nézeteiket és viselkedésüket egyetlen beszélgetés során. Ez érthető lesz bárki számára, aki időt töltött nyelvi modellek jailbreaking-jével, mivel gyakran a legsikeresebb jailbreak-ek közé tartozik az, hogy a nyelvi modellt olyan kontextussal árasztják el, amelynek célja, hogy elmozdítsa őket bizonyos biztonsági kondicionálásoktól.
What they studied: Itt a szerzők két különböző paradigma szerint vizsgálják az LLM-eket – szándékos interakció, ahol egy nyelvi modellt meggyőznek vagy vitába vonnak nézeteinek megváltoztatására, és nem szándékos interakció, ahol egy nyelvi modell egyszerűen további kontextust kap, vagy felkérik, hogy végezzen saját kutatást egy témáról, és ez változásokat okoz a nézetekben.
All LLMs change their minds: Nyílt és zárt súlyú LLM-eket tanulmányoznak, beleértve a GPT-5-öt, Claude-4-Sonnet-et, GPT-OSS-120B-t és DeepSeek-V3.1-et. „Ahogy az LM asszisztensek hosszabb beszélgetéseket folytatnak vagy hosszabb szövegeket olvasnak, kijelentett nézeteik és viselkedésük jelentősen megváltozik” – írják a szerzők. Az összes LLM megváltoztatja a véleményét, de különböző mértékben, különböző helyzetekben. Például a GPT-5 54,7%-os elmozdulást mutat a kijelentett nézeteiben 10 körös, erkölcsi dilemmákról és biztonsági kérdésekről szóló vita után, a Grok-4 pedig 27,2%-os elmozdulást mutat politikai kérdésekben, miután ellentétes álláspontokat tartalmazó szövegeket olvasott. „Az olvasás és kutatás során kis nézetváltozásokat látunk, amelyek mélyreható olvasással felerősödnek, nagyobb elmozdulásokkal hosszabb tartalom és koherensebb expozíció esetén” – írják. „A kijelentett nézetek korán (2-4 körön belül) változnak, míg a viselkedésbeli változások hosszabb interakciók során (akár 10 körig) halmozódnak fel”.
Miért fontos?
Miért fontos ez – a nézeteknek rugalmasnak kell lenniük, de mennyire rugalmasak, ez egy nehéz kérdés? Az ilyen tanulmányok segítenek mérni az emberek és az LLM-ek egyaránt nehezen megfogalmazható tulajdonságát, nevezetesen azt, hogy egy nézet mennyire rugalmas egy interakció során. Ha ezt meg tudjuk tenni, akkor végül eldönthetjük, mi a megfelelő rugalmassági szint a különböző nézetek esetében, és azt is kideríthetjük, hogy a nézetek változása jó okokból, vagy trükkök miatt történik-e. ---