A METR tanulmánya szerint az AI kódoló eszközök lassítják a tapasztalt fejlesztőket
A METR AI-kutatóintézet friss kutatási eredményei szerint a tapasztalt fejlesztőknek tovább tart a valós kódolási feladatok elvégzése AI asszisztensek használata mellett, annak ellenére, hogy termelékenyebbnek érzik magukat.
- A kutatók 16 veterán open-source fejlesztőt követtek nyomon, akik 246 valós feladatot végeztek el hatalmas kódbázisokon (átlagosan 22 ezer+ csillag és 1 millió+ sornyi kód).
- A fejlesztők azt várták, hogy az olyan AI eszközök, mint a Cursor Pro, idejük 24%-át megtakarítják, de a tesztelés kimutatta, hogy 19%-kal tovább tartott a munka, amikor engedélyezték az AI segítséget.
- Az időelemzés szerint a fejlesztők kevesebb időt töltöttek aktív kódolással, és többet promptolással, a generált kód áttekintésével, valamint az AI eszközök válaszaira való várakozással.
- A munka befejezése után a fejlesztők az eredmények ellenére még mindig azt hitték, hogy az AI 20%-kal gyorsabbá tette őket, ami rávilágít az érzékelés és a valóság közötti eltérésre.
Miért fontos?
Ezek az eredmények kissé meglepőek, figyelembe véve, hogy a nagyvállalatoknál egyre nagyobb arányban írja AI a kódokat. Azonban lehet, hogy az időfaktor nem a megfelelő mérőszám — a csapatoknak nem azt kellene nézniük, hogy az AI gyorsabbá teszi-e a fejlesztőket, hanem azt, hogy könnyebbnek érzik-e a kódolást, még ha az kicsit tovább is tart. ---
Kapcsolódó hírek