Az Apple bemutatja a WRAP technikát az adatállományok szintetikus adatokkal való bővítésére
Az Apple kutatói kifejlesztették a Web Rephrase Augmented Pre-training (WRAP) eljárást, amely egy módszer a szöveges adatkészletek szintetikusan generált adatokkal való bővítésére. A megközelítés egy LLM-et használ a webes cikkek négy különböző stílusban történő átfogalmazására: könnyen érthető, kiváló minőségű angol, tömör és specifikus, valamint társalgási Q&A. A szintetikus adatok és a valós adatok 1:1 arányú keverésével javult a perplexitás és a zero-shot pontosság számos feladat során, miközben a számítási keret változatlan maradt.
- Egy 7B paraméteres, instruction-tuned Mistral modellt használ az átfogalmazáshoz
- A technikát a CommonCrawl adataira alkalmazták
- Átlagosan több mint 10%-kal javítja a perplexitást a Pile adatkészlet részhalmazain
- Több mint 2%-kal növeli a zero-shot kérdés-válasz pontosságot 13 különböző feladatnál
- Egy 1.3B paraméteres GPT-stílusú modellen tesztelték
- A kutatás jelzi, hogy az átfogalmazó modellnek elég „okosnak” (nagynak) kell lennie a teljesítménynövekedés eléréséhez
A világban bevezetett AI rendszerek többsége valószínűleg viszonylag kis méretű, specifikus célokra testreszabott modell lesz. Ezért a WRAP-hez hasonló technikák komoly ígéretet hordoznak a fejlesztők számára, mivel egyszerű módot kínálnak a teljesítmény javítására szintetikus adatokon keresztül. ---