MI Történik?

Az Apple kutatói közzétettek egy elemzést az úgynevezett desztillációs „skálázási törvényekről” (scaling laws), amely jó elméleti alapot nyújt annak eldöntéséhez, hogy mikor érdemes egy kis modellt egy nagyobból desztillálni, szemben azzal, amikor egyszerűen felügyelt finomhangolást (supervised finetuning) kell végezni a kis modellen. A desztilláció lényege, hogy egy okos és nagyon nagy modell kimeneteit használjuk fel egy kisebb modell tanításához. „Olyan modelleket keresünk, amelyek elérik a kisméretű, túltanított modellek teljesítményét, de alacsonyabb tanítási költséggel. Népszerű megoldás a desztilláció, ahol egy képzett tanító LM (nyelvi modell) szolgáltat célokat egy kisebb tanuló LM számára” – írja az Apple. „Mivel ilyen jelentős számítási erőforrásokat fordítanak az LM-ek desztillációs előtanítására, elengedhetetlen annak megértése, hogyan osszuk el helyesen ezeket az erőforrásokat... kiterjedt, kontrollált vizsgálatot végeztünk a desztillációról, 143 millió és 12,6 milliárd paraméter közötti tanulókkal és tanítókkal, néhány milliárdtól egészen 512 milliárd tokenig terjedő adatokon.”