MI Történik?

Az Open Philanthropy olyan benchmarkok finanszírozását keresi, amelyek azt mérik, mennyire közel állnak az LLM-ágensek a jelentős, valós feladatok elvégzéséhez. A szervezet pályázati programot indított a kutatások ösztönzésére, és várhatóan 0,3-3 millió dollár közötti támogatást nyújt 6 hónaptól 2 évig terjedő időszakra. A támogatások fedezik a személyi költségeket, az API krediteket (olyan modellekhez, mint a GPT-4, Claude, PaLM stb.), valamint egyéb kiadásokat, például irodabérlést vagy alvállalkozói díjakat. Nemrégiben az LLM-ek a statikus interakcióktól elmozdultak az ágensek világmodelljei felé, amelyek egyetlen kérésre számos különálló feladatot hajtanak végre (például: „készíts nekem egy weboldalt”). Ez azt jelenti, hogy új módszerekre van szükségünk ezen ágensek teljesítményének értékeléséhez, valamint ötletekre, hogy milyen típusú feladatokat érdemes vizsgálni. Ez egy rendkívül tág terület, amely komoly biztonsági kérdéseket vethet fel. „Míg egy chatbot meg tudja írni egy egyszerű Python-szkript első tervezetét, egy rátermett ágens iteratív módon fejleszthet szoftvert, inkább úgy, mint egy emberi szoftvermérnök – teszteket ír, hibakereső eszközöket használ, keres az interneten, segítséget kér másoktól, és így tovább. Emiatt az ágensek kiterjedtebb kockázatokat jelenthetnek, mint a chatbotok” – írja az Open Philanthropy a pályázati felhívásában. „Olyan benchmarkokat akarunk finanszírozni, amelyek megbízhatóan jelzik, hogy az LLM-ágensek mikor és hogyan lesznek képesek valós, globális léptékű hatást gyakorolni.”