Kutatások szerint a mikromunka-platformok dolgozóinak jelentős része LLM-eket használ a feladatok elvégzéséhez
Az EPFL kutatói bizonyítékot találtak arra, hogy a mikromunka-platformok dolgozói (crowdworkers) elkezdték a generatív AI eszközöket, például a ChatGPT-t használni a szöveges online feladatok elvégzéséhez. Ez azt sugallja, hogy az AI-cégek által használt emberi meglátások nyersanyaga hamisított emberi intelligenciával telik meg, ami megkérdőjelezi az összegyűjtött adatok értékét. Egy 44 különálló dolgozó által írt összefoglalókat vizsgáló tanulmányban a kutatók meggyőző bizonyítékot találtak arra, hogy a beküldött munkák 33–46%-a LLM-ek segítségével készült. Erre a következtetésre két módszerrel jutottak: egy betanított szövegosztályozóval és a feladatok műszerezésével, amely érzékelte a más ablakokból történő másolás-beillesztés tevékenységet.
- A tanulmány szerint a közösségi forrásból származó összefoglalók 33–46%-át valószínűleg LLM-ek készítették
- A kutatók szövegosztályozót használtak az AI által írt és az ember által írt szövegek megkülönböztetésére
- A feladatokat úgy alakították ki, hogy azonosítsák, ha a dolgozók más ablakokból másolnak és illesztenek be szöveget
- A tanulmány kifejezetten 44 különböző dolgozó 48 összefoglalóját vizsgálta
- Az osztályozókat validálták, hogy biztosítsák az alacsony téves pozitív arányt a tisztán ember által írt szövegeknél
Miért fontos?
A következmények jelentősek a nagyüzemi mikromunka-platformok, például az MTurk vagy az Upwork számára. Ha a kutatók tisztán ember által generált kimeneteket szeretnének, új platformokat kell azonosítaniuk, és hitelesített bizalmi rétegeket kell kiépíteniük annak garantálására, hogy a munka emberi, és nem gépi eredetű. ---