Az Amazon mérnöke feltárta a 65 millió dolláros tanítási folyamatot, és 1 milliárd dolláros jövőt jósol
James Hamilton, az Amazon neves mérnöke egy idei előadásában elmondta, hogy az elmúlt évben az Amazon végrehajtott egy 65 millió dolláros tanítási folyamatot. Pontosabban egy 200 milliárd paraméteres (200B) dense modellt tanítottak 4 billió (4T) tokenen, 13 760 NVIDIA A100 chip felhasználásával (1720 P4d csomópontot használva). A tanítás 48 napig tartott. Hamilton ezt a futtatást „egy generációval ezelőttinek” nevezte, így feltételezhető, hogy az Amazon azóta már nagyobb projektekbe kezdett. A jövőre nézve Hamilton kijelentette: „a tanítási költségek hamarosan átlépik az 1 milliárd dollárt”.
- A 65 millió dolláros tanítási folyamat 13 760 NVIDIA A100 chipet használt.
- Az érintett modell 200 milliárd paraméteres volt, 4 billió tokenen tanítva.
- Ennek a modellgenerációnak a tanítási ideje 48 nap volt.
- A legmodernebb (frontier) tanítási folyamatok költsége várhatóan hamarosan eléri a milliárd dolláros szintet.
Miért fontos?
Hamilton szavai mögött az rejlik, hogy beléptünk a több százmillió dolláros tanítási folyamatok korszakába. Úgy gondolom, rengetegen következetesen alulbecsülik, mennyibe kerülnek a legfejlettebb AI tanítások – ezt rossz dolog alulbecsülni, mert azt jelenti, hogy a kormányok folyamatosan kevesebbet fektetnek saját AI infrastruktúrájukba a magáncégekhez, például az Amazonhoz képest. ---