Responsible AI
Korábbi OpenAI munkatársak megalapították az Averit az AI modellek auditálási szabványainak kidolgozására
Az AI egyre elterjedtebbé válik, mégsem léteznek szabványok a biztonság auditálására, hogy meggyőződjenek arról, az AI-rendszerek nem segítenek például hackereket vagy terroristákat. Egy új szervezet ezen kíván változtatni. Az OpenAI korábbi szakpolitikai vezetője, Miles Brundage megalapította az AI Verification and Research Institute-ot (Averi), egy nonprofit vállalatot, amely az AI-rendszerek biztonsági és védelmi szempontú független auditálását népszerűsíti. Bár az Averi maga nem végez auditokat, célja a szabványok meghatározása és a független auditálás alapvető gyakorlattá tétele az AI fejlesztése és bevezetése során.
Az AI-rendszerek független auditorai általában csak a nyilvános API-khoz férnek hozzá. Ritkán ellenőrizhetik a tanítási adatokat, a modell kódját vagy a tanítási dokumentációt, pedig ezek az információk kritikus fontosságúak a modell kimeneteinek megértéséhez, és hajlamosak a modelleket elszigetelten, nem pedig a tényleges használat közben vizsgálni. Emellett a különböző fejlesztők eltérően látják a kockázatokat, és a kockázati mutatók sem egységesek. Ez az inkonzisztencia megnehezíti az auditok eredményeinek összehasonlítását.
Brundage és 27 másik intézmény – köztük az MIT, a Stanford és az Apollo Research – munkatársai tanulmányt tettek közzé, amelyben az AI-auditálás okait, más területek (például élelmiszerbiztonság) tanulságait és az auditorok vizsgálati szempontjait részletezik. A szerzők nyolc általános elvet fogalmaztak meg az auditok tervezéséhez, beleértve a függetlenséget, az egyértelműséget, a szigort, az információhoz való hozzáférést és a folyamatos felügyeletet.
- Technológiai kockázat: Az auditoknak értékelniük kell a szándékos visszaélést, a nem szándékos káros viselkedést, az érzékeny adatok védelmének hiányát és a kialakuló társadalmi jelenségeket.
- Szervezeti kockázat: Az auditoroknak elemezniük kell a modellgyártókat a rendszerüzenetekkel (system prompts), a forrásokkal, az eszközökhöz való hozzáféréssel és a belső kockázatkezelési ösztönzőkkel kapcsolatos kockázatok szempontjából.
- Biztosítási szintek: A szerzők négy AI-biztosítási szintet (AAL) határoztak meg. Az AAL-1 hetekig tart korlátozott nem nyilvános adatokkal; az AAL-2 hónapokig tart munkatársi interjúkkal; az AAL-3 évekig tart szinte minden belső információval; az AAL-4 folyamatos auditálást jelent a lehetséges megtévesztések kiszűrésére.
Miért fontos?
Bár az AI kockázatairól lehet vitatkozni, az nem kérdés, hogy a technológiának ki kell érdemelnie a nyilvánosság bizalmát. Az AI hatalmas lehetőségeket rejt az emberi kiteljesedés és jólét szempontjából, de az emberek tartanak a káros hatásoktól. Az auditok megoldást kínálnak ezekre a félelmekre. A független szakértők által végzett, szabványosított biztonsági auditok segítenének a felhasználóknak a jó döntések meghozatalában, a fejlesztőknek termékeik jótékony hatásának biztosításában, a jogalkotóknak pedig az ésszerű szabályozási célok kijelölésében. ---