MI Történik?

A Google kutatói közzétették az ATLAS-t, egy olyan keretrendszert, amely meghatározza a többnyelvű nyelvi modellek hatékony tanításának módját több mint 400 nyelven. Az eredmények formalizálják a „többnyelvűség átkát” (a teljesítmény romlását új nyelvek hozzáadásakor) egy olyan skálázási törvény bevezetésével, amely figyelembe veszi a modell méretét, az adatmennyiséget és a nyelvek számát. Az eredmények azt mutatják, hogy kétszer annyi nyelv támogatásához a modell méretét 1,18-szorosára, a teljes tanítási adatmennyiséget pedig 1,66-szorosára kell növelni, miközben a pozitív transzfer ellensúlyozza a kapacitáskorlátokat. A korlátozott számítási költségvetéssel rendelkező szakemberek számára a keretrendszer meghatározza a meglévő többnyelvű modellek finomhangolása (fine-tuning) és a nulláról való előtanítás (pre-training) közötti megtérülési pontokat – ez általában 144 milliárd és 283 milliárd token között mozog a 2 milliárd paraméteres modellek esetében. Ez az útmutatás közvetlenül egy kritikus hiányosságot orvosol: az AI modellek felhasználóinak több mint 50 százaléka nem angol nyelven beszél, mégis a korábbi skálázási kutatások szinte kizárólag az angol egynyelvű környezetekre összpontosítottak.