Nyelvi modellek
A Microsoft és a Tsinghua Egyetem bemutatta a skálázható Instruction Pre-Training keretrendszert
A Microsoft és a Tsinghua Egyetem kutatói bemutatták az Instruction Pre-Training elnevezésű, skálázható, felügyelt multitask keretrendszert. Ez a módszer jelentősen javítja a nyelvi modellek teljesítményét, lehetővé téve a kisebb modellek számára, hogy felvegyék a versenyt a lényegesen nagyobb társaikkal.
- Skálázható, felügyelt multitask előtanítási megközelítést alkalmaz
- Lehetővé tette a Llama3-8B számára, hogy bizonyos feladatokban elérje vagy meghaladja a Llama3-70B teljesítményét
- Javítja az alap nyelvi modellek képességeit a hagyományos fine-tuning előtt
- A kisebb modellarchitektúrák nyers intelligenciájának fejlesztésére összpontosít