AI JÖVŐJE
A Groq villámgyors LPU chipekkel debütál, kihívva a hagyományos GPU-kat
Miközben mások jobb AI modellek tervezésével próbálnak előnyre szert tenni, egy viszonylag ismeretlen startup, a Groq mindenkit meglepett egy olyan AI chippel, amely állítólag sokkal gyorsabb, mint bármi más a piacon. A Groq (nem összetévesztendő Elon Musk Grokjával) egy új típusú processzor, amely az AI modellekhez hasonló alkalmazásokat állítólag villámgyorsan futtatja. Nem hittünk a közösségi médiában keringő híreknek, ezért kipróbáltuk a weboldalukon, és be kell vallanunk: tényleg elképesztően gyors. Egy hozzávetőleges technikai összehasonlításként a ChatGPT-vel: a Groq nagyjából 500 tokent generál másodpercenként, míg a ChatGPT-3.5 körülbelül 40-et. A token az információ egy egysége, például egy szó vagy szám, amelyet az AI modellek a válaszok generálásakor feldolgoznak.
- A Groq állítása szerint a „Language Processing Unit” (LPU) gyorsabb az AI-hoz használt hagyományos GPU-knál.
- A chip körülbelül 500 tokent generál másodpercenként, ami lényegesen gyorsabb a ChatGPT-3.5 40 token/másodperces sebességénél.
- Az LPU-kat kifejezetten AI feladatokra építették, ellentétben a GPU-kkal, amelyeket eredetileg számítógépes grafikához és játékokhoz terveztek.
- Az innováció eltolódást jelezhet a kifejezetten a generatív AI piacra szánt specializált hardverek felé.
Miért fontos?
Ahogy a gyorsan növekvő generatív AI piacért folyó verseny élesedik, a Groq új chipjei új versenytársakat ösztönözhetnek a nagy modellgyártókkal, mint az OpenAI, valamint a chipgyártókkal, mint az Nvidia, szemben. ---