AI IRÁNYELVEK
Tim O'Reilly hatékonyabb AI kormányzást javasol robusztus mérés és közzététel révén
Tim O'Reilly egyszerű módszereket sorol fel a jobb AI kormányzáshoz. Tim O'Reilly szerint, ha szabályozni akarjuk az AI rendszereket, képesnek kell lennünk mérni és értékelni a tulajdonságaikat. „Az alignment (összehangolás) lehetetlen lesz a közzétételre és auditálásra szolgáló robusztus intézmények nélkül” – írja. „Ha proszociális eredményeket akarunk, olyan mérőszámokat kell terveznünk és jelentenünk, amelyek kifejezetten ezeket a célokat tűzik ki, és mérik az elért eredmények mértékét.”
Mindent a mérés irányít: O'Reilly alapötlete az, hogy az AI szabályozás az AI rendszerek pozitív és negatív tulajdonságainak méréséből ered, majd e köré épülnek a szabályozási keretrendszerek. A legjobb kiindulópont, ha a szabályozók abból merítenek, amit maguk az AI cégek tesznek. „A szabályozóknak a fejlett AI rendszereket fejlesztők és üzemeltetők által már használt mérési és ellenőrzési módszerek formalizálásával és részletes közzétételének megkövetelésével kellene kezdeniük” – írja. „A szabályozásnak először a jelenlegi monitorozás és a bevált gyakorlatok közzétételére kell összpontosítania. Így a vállalatok, a szabályozók és a közérdek őrei együtt tanulhatják meg, hogyan működnek ezek a rendszerek, hogyan kezelhetők a legjobban, és mik is lehetnek valójában a rendszerszintű kockázatok.”
Amiben a mérés nem segít: Van az AI irányelveknek egy olyan területe, ahol a mérés nem feltétlenül lesz annyira hasznos: „a laptopon futtatható kisméretű LLM-ek esetében fennáll a még kevéssé megértett technológiák visszafordíthatatlan és ellenőrizhetetlen elterjedésének kockázata” – írja.
- Az alignment (összehangolás) robusztus intézményeket igényel a közzétételhez és az auditáláshoz.
- A mérőszámoknak kifejezetten a proszociális eredményekre kell irányulniuk.
- A szabályozóknak formalizálniuk kell és meg kell követelniük a jelenleg használatban lévő mérési és ellenőrzési módszerek közzétételét.
- A szabályozási fókusznak prioritásként kell kezelnie a jelenlegi felügyelet és a legjobb gyakorlatok közzétételét a közös tanulás érdekében.
- A kisméretű LLM-ek az elterjedés egyedi kockázatát hordozzák, amelyet a mérés önmagában nem biztos, hogy megold.
Miért fontos?
Nem tudod kezelni azt, amit nem tudsz mérni: Minél tovább alapulnak az AI irányelvek retorikai szólamokon a kvantitatív módszerek helyett, annál nehezebb lesz rátérni a lényegre azzal kapcsolatban, hogy mely viselkedések jók, melyek rosszak, és mire kellene az embereknek odafigyelniük. Az O'Reilly-éhoz hasonló javaslatok rendkívül ésszerűek. ---