A Lamini az AMD GPU-kra fogad az NVIDIA alternatívájaként
A Lamini AI startup elárulta, hogy már egy éve AMD GPU-kon futtat LLM-eket, és most egy olyan „LLM szupersztációt” kíván kínálni, amely AMD chipeket használ. Ez meglepő, mivel az NVIDIA a fő chipgyártó, amelyet mindenki AI tanításra és következtetésre (inference) használ, az AMD pedig eddig nem tudott betörni erre a piacra. Talán ez most megváltozik? „A Lamini egész évben titokban több mint száz AMD GPU-t futtatott éles környezetben” – közölte a startup. A vállalat most egy „LLM szupersztáció” néven hívott hardver-szoftver csomagot kínál az ügyfeleknek, amely „ötvözi a Lamini könnyen használható vállalati LLM infrastruktúráját az AMD Instinct™ MI210 és MI250 gyorsítókkal… a Lamini ügyfelei közül sokan Llama 2-t finomhangolnak és futtatnak az LLM szupersztációkon, és saját szellemi tulajdonukként birtokolják ezeket az LLM-eket.”
- A Lamini egy éve több mint száz AMD GPU-t üzemeltet élesben.
- Az „LLM szupersztáció” AMD Instinct MI210 és MI250 gyorsítókat használ.
- A Lamini állítása szerint az AMD ROCm szoftvere elérte a szoftveres paritást az NVIDIA CUDA-val az LLM-ek terén.
- Az MI250 128 GB-os HBM kapacitással rendelkezik, ami lehetővé teszi nagyobb modellek futtatását alacsonyabb szoftveres komplexitás mellett, mint az A100-as fürtök esetében.
- Az ügyfelek jelenleg Llama 2 finomhangolására és futtatására használják ezeket az állomásokat, miközben megtartják a szellemi tulajdonjogokat.
Miért fontos?
Az NVIDIA hihetetlenül domináns szereplő az AI chipek piacán, és hatalmas profitot termel az adatközponti üzletágából. Minden monopolhelyzetben lévő piac megpróbál versenyt teremteni; az AMD jó pozícióban van egy jelentős üzlet felépítéséhez, ha bizonyítani tudja, hogy chipjei nem járnak érdemi teljesítménybeli hátránnyal az NVIDIA-hoz képest. Ez azt jelzi, hogy az AI chip monopólium az oligopólium irányába mozdulhat el.