AI SAFETY
Javasolt keretrendszer a garantáltan biztonságos AI rendszerekhez formális ellenőrzőkkel
AI kutatók vázoltak fel egy tervet arra vonatkozóan, hogyan lehetne „garantáltan biztonságos” AI rendszereket építeni. A megközelítés lényege olyan rendszerek létrehozása, amelyek egy AI ágensből, valamint egyéb fizikai, hardveres és szoftveres komponensekből állnak, és amelyek együttesen magas szintű kvantitatív biztonsági garanciával rendelkeznek, figyelembe véve a korlátos számítási erőforrásokat is. A Garantáltan Biztonságos (GS) AI rendszer egy olyan rendszer, amely rendelkezik egy világmodell, egy biztonsági specifikáció és egy ellenőrző (verifier) által generált kvantitatív biztonsági garanciával.
- Biztonsági specifikáció: Kódolja a társadalmi kockázati kritériumokat és a fenyegetési modelleket arra vonatkozóan, hogyan lehetne visszaélni egy AI rendszerrel.
- Világmodell: Egy olyan rendszer, amely válaszol az AI kimeneteiből adódó lehetséges jövőbeli kimenetelekre vonatkozó kérdésekre a kockázatok előrejelzése érdekében.
- Verifier (ellenőrző): Olyan technológia, amely kvantitatív garanciát nyújt arra, hogy az AI rendszer megfelel a specifikációnak a világmodellhez képest.
- Példa a felhasználásra: Nukleinsav-szekvenálás szűrése, ahol a rendszer molekuláris patológiai modellezés alapján elutasítja a kórokozókat.
- A résztvevő kutatók az UK ARIA, Oxford, Mila, Berkeley, MIT, X.AI és a Stanford munkatársai.
Miért fontos?
A biztonság itt azon múlik, hogy képesek vagyunk-e szűken definiálni az AI rendszer felhasználási módját. Ez azt jelenti, hogy az általános célú rendszerek biztonságát sokkal nehezebb garantálni – talán kombinatorikusan robbanásszerű módon. Bár a GS megközelítés elméletben működőképesnek tűnik, szemben áll a napjainkban fejlesztett általános célú rendszerekkel, ami arra utal, hogy ha garantálni akarjuk a biztonságukat, minden alkalmazást kontextus-specifikus biztonsági rendszerrel kell kiegészíteni. ---