A Microsoft és a Tsinghua Egyetem bemutatta a skálázható Instruction Pre-Training keretrendszert
A Microsoft és a Tsinghua Egyetem kutatói bemutatták az Instruction Pre-Training elnevezésű, skálázható, felügyelt multitask keretrendszert. Ez a módszer jelentősen javítja a nyelvi modellek teljesítményét, lehetővé téve a kisebb modellek számára, hogy felvegyék a versenyt a lényegesen nagyobb társaikkal.
- Skálázható, felügyelt multitask előtanítási megközelítést alkalmaz
- Lehetővé tette a Llama3-8B számára, hogy bizonyos feladatokban elérje vagy meghaladja a Llama3-70B teljesítményét
- Javítja az alap nyelvi modellek képességeit a hagyományos fine-tuning előtt
- A kisebb modellarchitektúrák nyers intelligenciájának fejlesztésére összpontosít
Kapcsolódó hírek
Az Apple bemutatja a GSM-Symbolic benchmarkot az LLM-ek matematikai érvelésének értékelésére
2024. október 17.
A Google frissítette a Gemini 1.5 Pro és Flash modelleket alacsonyabb árazással
2024. szeptember 26.