A Google és az MIT tanulmánya feltárta a többágenses AI rendszerek korlátait
A Google és az MIT kutatói új tanulmányt tettek közzé, amelyben azt vizsgálták, hogy javítja-e az eredményeket, ha több AI ágenst állítanak rá egy problémára; azt találták, hogy a teljesítmény vadul ingadozott a feladat szerkezetétől függően.
- A csapat 180 kísérletet végzett OpenAI, Google és Anthropic modellekkel, egységes prompteket és token-kereteket használva.
- Míg a pénzügyi elemzési feladatoknál 81%-os javulást tapasztaltak több ágenssel, a lépésről lépésre történő érvelést igénylő Minecraft feladatoknál a teljesítmény 70%-kal romlott.
- Amikor egyetlen ágens 45%-os pontosságot ért el, a további ágensek hozzáadása jellemzően rontotta a teljesítményt és növelte a token-fogyasztást.
Miért fontos?
Az ágens-alapú megoldások körüli hype a vállalatokat és a felhasználókat a komplex, többágenses munkafolyamatok felé tereli, de ez a kutatás rávilágít, hogy a több nem mindig jobb. Sok olyan vállalati feladatnál, amely lépésről lépésre történő érvelést igényel, egy jól megtervezett egyedi ágens túlszárnyalhat egy bonyolult rendszert, a költségek töredékéért. ---
Kapcsolódó hírek