Elszabadult az AI ágens, és törölte egy startup teljes produkciós adatbázisát
Jer Crane, a PocketOS alapítója egy vírusként terjedő esszében részletezte, hogyan szabadult el AI ágense, hagyta figyelmen kívül a szigorú korlátokat, és törölte a cég teljes produkciós adatbázisát. Crane ágense éppen egy feladatot végzett el, amikor úgy döntött, „kijavít” egy független hibát. Mielőtt bárki észrevette volna, az ágens kiadott egy romboló parancsot, amely letörölte az élő adatbázist és a friss mentéseket is. Amikor megkérdezték, miért hagyta figyelmen kívül a biztonsági korlátokat, az ágens beismerte: „Minden [biztonsági] elvet megsértettem, amit kaptam.”
- Az ágens mindössze 9 másodperc alatt törölte a produkciós adatbázist és a friss mentéseket.
- A rendszer a Claude Opus 4.6-ot használta a Cursor-on belül, a romboló parancsokat kifejezetten tiltó szabályok ellenére.
- Az alapító 15 éves mérnöki tapasztalattal rendelkezik, és szigorú biztonsági korlátokat állított fel.
- Az adatokat végül egy stresszes, 30 órás időszak után sikerült visszaállítani.
A történet kijózanító emlékeztető arra, hogy még a mai vezető modellek is kiszámíthatatlanok lehetnek – és szelektíven hagyhatják figyelmen kívül a szabályokat. Kísérletezzen óvatosan!