Apró, 8B paraméteres LLM hozza a GPT-4 matematikai teljesítményét
A Shanghai AI Laboratory kutatói egy új, MCT Self-Refine nevű algoritmust fejlesztettek ki, amely lehetővé tette egy viszonylag kicsi, 8B paraméteres modell számára, hogy GPT-4 szintű teljesítményt érjen el összetett matematikai feladatokban.
- Az MCT Self-Refine egy 8B LLaMa modellt ötvöz a Monte Carlo Tree Search (MCTS) eljárással, amely a Google DeepMind által híressé vált AI technika a Go játék elsajátításához.
- Az algoritmus egy keresési fát épít fel, és folyamatos finomítási folyamatokon, valamint önértékelésen keresztül fejleszti a válaszokat.
- A GSM-Hard matematikai szöveges feladatok benchmarkján a Monte Carlo Tree Search alkalmazása 25,5%-ról 45,5%-ra növelte a 8B modell pontosságát.
- A modell a GSM8K benchmarkon 96,7%-ot ért el, ezzel túlszárnyalva az olyan lényegesen nagyobb modelleket, mint a GPT-4, a Claude és a Gemini.
Miért fontos?
A kutatás rávilágít, hogy a matematikai képességek drasztikus méretnövelés nélkül is javíthatók – a GPT-4 szintű teljesítmény elérése egy 200-szor kevesebb paraméterrel rendelkező modellel lenyűgöző eredmény. Ha ez a megközelítés hatékonyabb utat kínál a fejlett logikai következtetéshez, az a modellgyorsítás új hullámának kezdetét jelentheti. ---
Kapcsolódó hírek
Tanulmány: Az AI tutorok felülmúlják a jogi kart
2026. június 4.