Az AutoCoder felülmúlja a GPT-4 Turbót a Human Eval kódolási teljesítménymérésen
Kutatók bemutatták az AutoCoder-t, egy új kódoló modellt, amelyet az automatizált programozás határainak feszegetésére terveztek. Ez az első kódoló modell, amely felülmúlta a GPT-4 Turbót és a GPT-4o-t a Human Eval teszten, kiemelkedő technikai szakértelmet tanúsítva.
- 90,9%-os pass@1 pontszámot ért el a Human Eval teszten
- Továbbfejlesztett kódértelmezővel (code interpreter) rendelkezik
- Képes külső csomagok telepítésére a futtatás során
- A kódolási pontosság tekintetében felülmúlja a vezető saját tulajdonú modelleket
Kapcsolódó hírek
Az OpenAI elindítja a SimpleQA benchmarkot az LLM-ek tényszerűségének és hallucinációinak mérésére
2024. október 31.