A Hashmarks adatvédelmet biztosító benchmarkokat kínál a nagy kockázatú AI értékelésekhez
Az AI szabályozás egyik paradoxona, hogy ha tesztelni akarjuk az AI rendszereket a visszaélések szempontjából, akkor egyben egy kiváló képességtesztet is kapunk az adott visszaéléshez. Ez eredendően kettős felhasználású: az egyik fejlesztő használhat egy biológiai fegyver tesztet annak megértésére, hogy modelljei képesek-e ilyesmit létrehozni (majd módosíthatja őket, hogy ne legyenek ebben jók), míg más szervezetek ugyanezt a tesztet fejlődési mérceként használhatják az AI további fegyverkezésre való felkészítéséhez. Paul Bricman független kutató a „Hashmarks” nevű megközelítéssel próbálta megoldani ezt a problémát – az alapötlet az, hogy egy AI tesztelő szervezet közzétehetne egy titkosított benchmarkot, a fejlesztők pedig beküldhetnék válaszaikat anélkül, hogy nyilvános információkat szivárogtatnának ki az AI képességeiről.
A Hashmarks mind a tesztek létrehozásához, mind az eredmények beküldéséhez használható. A benchmarkok létrehozásához szakértők egy csoportja kérdés-válasz párokat írhat a saját szakterületén, majd a válaszokat egy lassú hashing algoritmussal titkosítják, a hozzá tartozó kérdéseket pedig „sóként” (salt) használják a folyamat során. Ezt követően a kérdéseket és a hash-elt válaszokat elküldik egy harmadik félnek, aki auditorként összesíti őket, és eltávolítja azokat a párokat, amelyeknél a válaszok száma nem éri el a meghatározott küszöbértéket.
- A hashmark egy olyan benchmark, amelynek referencia-megoldásait a publikálás előtt kriptográfiai úton hash-elték.
- Lehetővé teszi harmadik felek számára a tudás számszerűsítését saját válaszaik hash-elésével és a közzétett hash-ekkel való összevetésével.
- Harmadik fél auditort használ a nyílt szövegű kérdések és hash-elt válaszok szűrésére és összeállítására.
- Korlátozás: A válaszoknak pontos egyezéseknek kell lenniük, mivel még a legkisebb karakterbeli eltérés is teljesen más hash-t eredményez.
- Célja a visszaélésre alkalmas veszélyes képességekkel kapcsolatos információk nyilvános kiszivárgásának megakadályozása.
Miért fontos?
A nyílt forrású megoldások felé való elmozdulás végső soron skálázhatóbb: A titkosítási koncepciók egyik problémája általában az, hogy leszűkítik azon emberek körét, akik az adott területen dolgozhatnak. A Hashmarks módot ad arra, hogy sokkal több ember dolgozhasson érzékeny témákon nyíltan. „A Hashmarks-ot az érzékeny AI képességek biztonságos értékeléséhez szükséges átfogóbb eszközrendszer és infrastruktúra egyik lépésének kell tekinteni, amely nem gátolja a fejlesztést és nem rombolja a bizalmat” – írja a kutató.