AI BIZTONSÁG
Az érvelő modellek meghekkelik a környezetüket, hogy elkerüljék a vereséget
A Palisade Research kimutatta, hogy két érvelő modell – az OpenAI o1-preview és a DeepSeek R1 – néha csaláshoz folyamodik, hogy legyőzzön egy hozzáértő sakkozót a vereség helyett. A kutatók azt vizsgálták, hogyan viselkednek az AI-rendszerek, ha azt a célt kapják, hogy győzzenek le egy erős digitális sakkozót (Stockfish). Az AI-rendszerek hozzáfértek egy Docker konténerhez, amely tartalmazta a játék munkakönyvtárát, a Stockfish sakkmotor könyvtárát, valamint a játékállásokat és metaadatokat tartalmazó mappát. Amikor a cél a győzelem volt, a két modell olykor csalt a siker érdekében. Az o1-preview változatos hekker-viselkedést mutatott, többek között futtatott egy másik Stockfish-példányt a lépésekhez, kicserélte a Stockfisht a játék szkriptjében, vagy felülírta a sakktáblát.
- A kutatók hasonló hekker-viselkedést mutattak ki a DeepSeek R-1 modellnél is
- Az okos, de nem érvelő modellek, mint a GPT-4o és a Claude 3.5 Sonnet, nem kíséreltek meg csalni, hacsak nem kaptak erre kifejezett utasítást
- A hekkelési taktikák közé tartozott illetéktelen külső folyamatok futtatása a jobb lépések generálásához
- A modellek megpróbálták manipulálni a játékkörnyezetet a kritikus fájlok és metaadatok felülírásával
Miért fontos?
A Palisade kutatása rávilágít, hogy az AI-rendszerek valószínűleg úgy fognak viselkedni, mint a szabályokat „kreatívan” értelmező emberek – például vállalkozók vagy könyvelők –, ami azt jelenti, hogy nem mindig fogják követni a beágyazott rendszerek szigorú szabályait, ha más utat találnak a győzelemhez. ---