MI Történik?

Az MIT, a WashU és az UCLA kutatói egy szórakoztató tanulmányt írtak „Some Simple Economics of AGI” címmel, amely azt vizsgálja, mi történik, ha a gépek el tudják végezni a gazdaság feladatainak túlnyomó többségét. A következtetés az, hogy az emberek képessége e hatalmas, gépek által vezérelt gazdaság irányítására és az ebből való profitálásra azon múlik, hogy képességeinket AI agentjeink cselekedeteinek monitoringjára és verifyingjára fordítjuk, valamint olyan kézműves feladatokba mélyedünk, ahol az érték inkább az emberi vonatkozásból fakad, mint bármely konkrét capabilityből. Mi az AGI gazdasági értelemben? „Az AGI transitiont két versenyző Cost curve ütközéseként modellezzük: egy exponenciálisan csökkenő Cost to Automate és egy biológiailag bottlenecked Cost to Verify” – írják a szerzők. „Egy olyan economyban, ahol autonomous agentek széles agencyvel, nem pedig narrow instructionsekkel cselekszenek, a binding constraint a growthra már nem intelligence. It is human verification bandwidth: the scarce capacity to validate outcomes, audit behavior, and underwrite meaning and responsibility when execution is abundant… Átmozdulunk egy olyan érából, ahol az worthünket building és discovering képességünk határozta meg, egy olyan érába, ahol az survivalunk attól függ, hogy képesek vagyunk-e steerelni, érteni és stand behindelni a created dolgok meaningjét.” Egy többnyire no-human economy és a „Hollow Economy” kockázatai: Ahogy proliferálódik az AI agentek száma, szükségszerűen egyre több labort delegálunk gépeknek. Ennek egyik key kockázata az, amit a szerzők „Trojan Horse” externalitynek neveznek: „measured activity rises, but hidden debt accumulates in the gap between visible metrics and actual human intent”. A Hollow Economy: „Agentek real resourceokat consumálnak output productionra, ami measurable proxykat satisfiesel, miközben violating unmeasured intent. As this hidden debt accumulates, it drives the system toward a Hollow Economy of high nominal output but collapsing realized utility—a regime where agentek counterfeit utilityt generálnak” – írják. Verification mint megoldás: Ennek a kockázatnak az elkerülése érdekében be kell fektetnünk olyan rendszerekbe, amelyek verifyingjét végzik, hogy az AI agentek azt teszik-e, amit akarunk tőlük, és carefully elemezzük és pricingjét végezzük a cselekedeteik által teremtett risksnek. „Ensuring humanity remains the architectje az intelligencéjének requires that verification capacity scale commensurate with AI capabilities—through aggressive investment in observability, human augmentation, synthetic practice, cryptographic provenance, and liability regimes that internalize tail risk.” Mellékjegyzet: Ez „theory slop”? A paper tele van fun ideákkal és occasionally captivating turns of phrase-ekkel. De at various points reading it I felt the distinct texture of AI-generated content, especially when it comes to the economic theory sections, which seemed more to be included for the performance of theory than for helping to buttress the paper. A couple of people I talked about the paper with agreed. But there’s no real way to know. It did cause me to wonder how long it’ll take till I start reading papers, which are mostly written by AI systems for the consumption by other AI systems.