Az LLM kódoló ágensek jelenlegi korlátainak kritikája
Egy friss elemzés rámutat azokra a kritikus területekre, ahol még a legfejlettebb LLM kódoló ágensek is kudarcot vallanak. A kódgenerálás terén elért fejlődés ellenére két konkrét viselkedés továbbra is problémát jelent az éles környezetben való megbízhatóság szempontjából: a kód pontos másolása és beillesztése (copy-paste), valamint a tisztázó kérdések feltevésének képessége kétértelmű utasítások esetén.
- Az ágensek gyakran küzdenek a precíz fájlszerkesztéssel és az utasítások betartásával nagyszabású kódolási feladatoknál.
- A „copy-paste” probléma azt sugallja, hogy a modelleknek natív eszközként kellene használniuk a kivágást/másolást/beillesztést a puszta szövegbejóslás helyett.
- Az ágensekből hiányzik az intuíció a megálláshoz és tisztázás kéréséhez, ami gyakran hallucinációkhoz vagy hibás implementációkhoz vezet.
- A RepoBench tesztjei azt mutatják, hogy a modellek továbbra is nehézségekkel küzdenek a nagy kontextusú logikai következtetés és a fájlszerkesztés pontossága terén.
Miért fontos?
Ezen konkrét hibaforrások azonosítása lehetővé teszi a fejlesztők számára, hogy jobb eszközöket hozzanak létre, például megtanítva az open-source modelleket (mint a Kimi K2 vagy a GLM 4.6) specifikus rendszereszközök használatára a refaktoráláshoz a tiszta szöveggenerálás helyett. ---