GROQ
Vírusként terjed a villámgyors Groq AI-processzor
Az AI startup Groq (nem Elon Musk Grokja...) hardveres áttörései futótűzként terjednek az AI-világban, köszönhetően a speciális feldolgozóegységeknek, amelyek szinte azonnali válaszidővel futtatják az LLM-eket.
- A Groq LPU (language processing units) architektúrát használ GPU (graphics processing unit) helyett, ami hatékonyabb és gyorsabb működést tesz lehetővé.
- A Groq hardverének nyilvános sebességtesztjei elképesztő, másodpercenkénti 500 tokenes sebességet értek el, szemben a GPT 3.5 30-50-es értékével.
- Ez az egymás melletti Groq vs. GPT 3.5 demó megmutatja, ahogy a Groq ugyanazt a promptot hajtja végre, de körülbelül négyszer gyorsabban.
- A 2016-ban alapított Groq novemberben felszólító levelet küldött Elon Musk X-ének a chatbot „Grok” nevének bejelentése miatt.
Miért fontos?
Ahhoz, hogy megértsük a Groq által elért sebességet, látni kell, hogy elhiggyük. A szinte azonnali válaszok a lehetőségek új világát nyitják meg az AI és a felhasználói élmény terén, miközben az LPU-k hatékonysága és megfizethetősége alternatívát kínálhat a piacon keresett GPU-kkal szemben.