Az AI mérés kulcsfontosságú a hatékony politikához és kormányzáshoz
Jacob Steinhardt, egy AI kutató, egy nagyszerű blogbejegyzésben fejtette ki az AI rendszerek tulajdonságainak mérésére szolgáló technikai eszközökbe való befektetés és a technikai politikai megoldásoknak való megfelelés költségeinek csökkentésének előnyeit. Mivel szakmai életemet az AI területén töltöttem, AI mérésről írtam, és csapatokat építettem (pl. a Frontier Red Team, valamint a Társadalmi Hatások és Gazdasági Kutatási csapatok az Anthropicnál) az AI rendszerek tulajdonságainak mérésére, egyetértek az általános tézissel: a mérés lehetővé teszi számunkra, hogy egy rendszer bizonyos tulajdonságát láthatóvá és mások számára hozzáférhetőbbé tegyük, és ezzel kitalálhatjuk, hogyan illeszthetjük be ezt a mérést a kormányzásba.
Hogyan segített a mérés más területeken: Steinhardt rámutat, hogy a pontos mérés kulcsfontosságú volt az emberek tájékozódásához a problémamegoldás stratégiájában más területeken; a CO2 monitoring segít az embereknek a klímaváltozásról gondolkodni, a COVID-19 tesztelés pedig segített a kormányoknak kidolgozni a COVID-ra való reagálást. Vannak példák arra is, amikor valamit mérni lehet az ösztönzők megváltoztatása érdekében – például a metánkibocsátás műholdas képei segíthetnek megváltoztatni a gázinfrastruktúrát építő emberek ösztönzőit.
Az AI szektor kiépítette a szükséges mérési módszerek egy részét: A hírhedt METR időhorizont-diagram (és korábban különböző LLM metrikák, még korábban pedig az ImageNet) hasznosnak bizonyult az emberek tájékoztatásában az AI fejlődésének üteméről. Az AI rendszerek viselkedési benchmarkjai, mint például a káros nyalás (sycophancy) aránya, már most is segítenek az ösztönzők megváltoztatásában. De még több munkára van szükség – ha lehetővé akarjuk tenni a közvetlen kormányzati beavatkozásokat az AI szektorban, akkor jobban kell mérnünk és elszámolnunk a compute-ot, jegyzi meg Steinhardt. Ambiciózusabban: ha végső soron el akarjuk mozdítani az egyensúlyi állapotokat, hogy bizonyos utak vonzóbbá váljanak, akkor néhány alapvetőbb technológiát kell felszabadítanunk, mint például a frontier AI ügynökök olcsó értékelésének képességét (ami csökkenti a frontier mérésének költségeit), valamint adatvédelmi szempontból biztonságos auditáló eszközök kifejlesztését (ami csökkenti a cégek számára a politikának való megfelelés fájdalmát).
Miért fontos?
Miért fontos ez – a mérés felszabadítja a politikát: „Egy ideális világban az AI rendszerek szigorú értékelése és felügyelete pusztán természetes ösztönzők révén standard gyakorlattá válna” – írja. De a természetes ösztönzők lehet, hogy nem elegendőek – szükségünk van a tehetség beáramlására a területre, és valószínűleg közvetlenebb filantróp és egyéb alternatív finanszírozási forrásokra ahhoz, hogy felépítsük az ehhez szükséges tehetséget és intézményeket. „A terület specifikusan tehetséghiánnyal küzd: a mérés és értékelés munkája kevésbé csillogó, mint a képességkutatás, és a technikai készség és a kormányzási érzék ritka kombinációját igényli” – írja. ---