Új szerkesztőeszköz drámaian javítja az LLM kódolási teljesítményét újratanítás nélkül
Egy fejlesztő (can1357) létrehozott egy új szerkesztőeszközt, a Hashline-t, a nyílt forráskódú kódoló ügynökéhez (oh-my-pi, a Pi forkja), amely jelentősen javította az LLM kódolási teljesítményét. Ahelyett, hogy a modelleknek pontos szöveget kellene reproduálniuk a fájlok szerkesztéséhez, ami gyakran kudarcot vall, a Hashline minden sornak egy rövid tartalom hash-t ad. A modellek ezután erre a hash-re hivatkozva adják meg a "szerkeszd ezt a sort" utasítást.
- A Gemini 8%-ot javult.
- A Grok Code Fast 6,7%-ról 68,3%-ra javult, ami tízszeres növekedés.
Miért fontos?
Ez a javulás újratanítás és új modellek nélkül valósult meg, bizonyítva, hogy egy jobb eszközfelület (a "harness") drámaian megváltoztathatja a teljesítményt, nem csupán az alapul szolgáló modell ("the moat"). A szerző kijelenti: "a modell az árok. a harness a híd. a hidak felégetése csak azt jelenti, hogy kevesebben veszik a fáradságot az átkelésre.” ---