AURORA-M: Új többnyelvű LLM, amelyet az amerikai elnöki rendelet irányelvei szerint teszteltek (red-teaming)
Kutatók egy nemzetközi konzorciuma betanította és közzétette az AURORA-M-et, egy 15 milliárd paraméteres nyelvi modellt, amely a StarCoderPlus alapjaira épül, és célja a) a javított többnyelvű teljesítmény, valamint b) az amerikai elnöki rendeletnek megfelelő red-teaming elvégzése. Az AURORA-M lényegében a StarCoderPlus, amelyet tovább tanítottak 435 milliárd további tokennel, így a modell összesen több mint 2 billió tokennyi tanítóadattal rendelkezik.
Red teaming (vagyis az Anthropic álruhában): A nagy hírveréssel beharangozott „amerikai elnöki rendelet szerinti red-teaming” kissé csalódást keltő – létrehoztak egy „Biden-Harris Redteam Dataset” nevű adatkészletet, amelyet az elnöki rendeletben megfogalmazott aggályokra és tipikus biztonsági kérdésekre szabtak, de ez az adatkészlet kb. 5000 olyan utasításon alapult, amelyeket az Anthropic ártalmatlansággal kapcsolatos emberi preferencia-adatkészletéből szűrtek ki.
- 15 milliárd paraméteres modell a StarCoderPlus alapján.
- Összesen több mint 2 billió tokenen tanítva.
- Javult teljesítmény angol, finn, hindi, japán és vietnámi nyelveken.
- A LUMI szuperszámítógépen tanították 128 AMD MI250X GPU-val 48 napon keresztül.
- A biztonsági tréninghez az Anthropic ártalmatlansági adatkészletének szűrt változatát használták.
Miért fontos?
Ez a modell dicséretes azért, mert legalább megpróbáltak egy olyan modellt kifejleszteni és kiadni, amely megfelel a jelentősebb irányelveknek – elismerés a szerzőknek ezért az ethosztért. Ugyanakkor kérdéseket is felvet az irányelveknek való felszínes megfelelésről; csak azért, mert valaki azt állítja, hogy egy elvi norma szerint végez „red-teaminget”, a részletek sokat számítanak, és a jó szándék ellenére előfordulhat, hogy nem pontosan azt érik el, amit gondolnak. ---