MI Történik?

Az OpenAI megalkotta és közzétette a GDPval-t, egy rendkívül jól összeállított benchmarkot annak tesztelésére, hogy az AI-rendszerek hogyan teljesítenek a reálgazdaságban előforduló feladatokban. A GDPval a széles körű valós gazdasági hatás tekintetében az lehet a mérések (evals) között, ami a SWE-Bench a programozási hatás szempontjából – ami nagy dolog! A GDPval a modellek teljesítményét olyan feladatokon méri, amelyek közvetlenül tapasztalt szakemberek valós szellemi munkájából származnak számos foglalkozási ágból és szektorból, így tisztább képet ad arról, hogyan teljesítenek a modellek a gazdaságilag értékes feladatokban. A benchmark 9 iparágat és 44 foglalkozást tesztel, beleértve 1230 specializált feladatot, amelyeket egyenként, aprólékosan dolgoztak ki és ellenőriztek az adott területeken átlagosan több mint 14 éves tapasztalattal rendelkező szakemberek. Az adatkészlet foglalkozásonként 30 teljesen átvizsgált feladatot tartalmaz, foglalkozásonként 5 feladattal egy nyílt forráskódú „gold set”-ben. A modell teljesítményének értékeléséhez az OpenAI szakértő értékelőkre támaszkodik – tapasztalt szakemberekre ugyanazokból a munkakörökből, amelyek az adatkészletben szerepelnek. Ezek az értékelők vakon hasonlítják össze a modell által generált eredményeket a feladatírók által készített produktumokkal, kritikákat és rangsorokat adva. Az eredmények azt mutatják, hogy a mai legjobb élvonalbeli modellek már megközelítik az iparági szakértők által végzett munka minőségét, miközben a modellek nagyjából 100-szor gyorsabban és 100-szor olcsóbban végzik el a feladatokat, mint a szakemberek.