AI BIZTONSÁG
A prompt injection növekvő biztonsági kockázatot jelent az AI asszisztensek fejlődésével
Simon Willison AI-szakértő szerint a prompt injection – amikor feltörik a rendszer biztonsági korlátait, hogy az a készítők szándékától eltérő kimeneteket produkáljon – valószínűleg komolyabb dolog lesz, mint azt az emberek gondolják. Érvelése szerint ahogy az emberek beépítik a nyelvi modelleket az ágensekbe és asszisztensekbe, ezek az asszisztensek sebezhetővé válnak a prompt injection-nel szemben. Segítséget jelenthetne a promptok láthatóvá tétele: „ha láthatnám a promptokat, amelyeket a nevemben dolgozó asszisztensek fűznek össze, legalább egy kis esélyem lenne kiszúrni, ha valaki injection támadást kísérelne meg.”
- E-mail feltörés: Egy e-maileket olvasó asszisztenst rá lehet venni, hogy érzékeny adatokat továbbítson egy támadónak, majd törölje a bizonyítékokat.
- Keresési indexek megmérgezése rosszindulatú viselkedés kiváltása érdekében.
- Adatszivárogtatás kompromittált asszisztens-válaszokon keresztül.
- Egy lehetséges védekezés a promptok láthatóvá tétele a felhasználók számára az injection kísérletek kiszűrése érdekében.
Miért fontos?
Ami régi, az megint új – mielőtt számítógépes rendszereink lettek volna, aggódnunk kellett amiatt, hogy az embereket szemfényvesztők, hipnotizőrök és csalók verik át. Úgy gondolom, hogy újra ebbe a korszakba lépünk – a nyelvi modellek a megfelelő szavakkal rávehetők viselkedésük megváltoztatására, és az ezzel szembeni ellenállóképesség kialakítása ugyanolyan nehéz lehet, mint az emberek felvértezése a hipnózis elleni beépített védelemmel.