A Bloomberg 50 milliárd paraméteres LLM-et tanított saját pénzügyi adatokon
A pénzügyi adatok óriása, a Bloomberg megépítette a „BloombergGPT”-t, egy olyan nyelvi modellt, amely részben a Bloomberg saját tulajdonú adataira épül. A BloombergGPT egy olyan jövőt vázol fel, ahol a vállalatok a nagyméretű, internetről gyűjtött adatállományokat saját adatkészleteikkel párosítják, hogy olyan általános célú modelleket hozzanak létre, amelyek specifikus képességekkel rendelkeznek. A modell egy 50 milliárd paraméteres nyelvi modell, amelyet pénzügyi adatok széles skáláján tanítottak. A modellt 569 milliárd tokenen képezték ki, amely saját pénzügyi adatokból (amit „FinPILE”-nak neveznek) és nyilvános adatokból állt. Ez a vegyes adatkészleten alapuló oktatás egy olyan modellt eredményezett, amely jelentősen felülmúlja a meglévő modelleket a pénzügyi feladatokban, anélkül, hogy romlana a teljesítménye az általános LLM benchmarkokon.
- 569 milliárd tokenen tanítva, beleértve a saját FinPILE adatkészletet is.
- Az Amazon SageMaker szolgáltatást használták 512 darab NVIDIA 40GB A100 GPU-val a tanításhoz.
- Felülteljesíti a meglévő modelleket a pénzügyi specifikus feladatokban és értékelésekben, például a szentimentanalízis terén.
- A modell súlyait nem hozzák nyilvánosságra a saját adatok kiszivárgásának megelőzése és a magánélet védelme érdekében.
- A számítási kapacitás felhasználása körülbelül 1,82-szer kevesebb volt, mint a GPT-3 esetében, de 3-szor több, mint a GPT-NeoX-nél.
Miért fontos?
A BloombergGPT-re inkább úgy tekintek, mint egy szilícium-könyvtárosra vagy történészre, semmint egy sima modellre; azáltal, hogy hatalmas mennyiségű privát és belső Bloomberg-adaton tanították, az LLM gyakorlatilag az „intézményi memória” tömörített formája és egy navigátor a Bloomberg számos belső rendszerében (beleértve a hírhedt Bloomberg terminál nyelvezetét is). A BloombergGPT-hez hasonló rendszerek segítenek a vállalatoknak olyan szoftveres entitásokat létrehozni, amelyek képesek navigálni, osztályozni és elemezni a cég saját adatállományát. ---