Az Etched bemutatta a kifejezetten Transformer modellekhez tervezett speciális chipjét
Egy Etched nevű új startup az Nvidia dominanciáját hivatott megtörni a világ első, kifejezetten Transformer modellekhez tervezett speciális chipjének bemutatásával. A Sohu nevű chip egy ASIC (alkalmazásspecifikus integrált áramkör), amely a gyártó állítása szerint másodpercenként több mint 500 000 tokent képes feldolgozni, így jelentősen gyorsabb és költséghatékonyabb, mint az Nvidia érkező Blackwell architektúrája.
- A világ első speciális ASIC chipje Transformer modellekhez
- Másodpercenként több mint 500 000 tokent biztosít a nagysebességű következtetéshez (inference)
- Állításuk szerint több mint tízszer gyorsabb és olcsóbb, mint az NVIDIA következő generációs Blackwell chipjei
- Kifejezetten a Transformer architektúrára összpontosít a hatékonyság maximalizálása érdekében
Miért fontos?
A speciális hardverek drasztikusan csökkenthetik a nagy nyelvi modellek futtatásának költségeit és késleltetését, potenciálisan megtörve az iparág általános célú GPU-któl való erős függőségét.
Kapcsolódó hírek
A Google megjelentette a Gemini Live-ot az adaptív, valós idejű AI hangalapú beszélgetésekhez
2024. szeptember 8.
Az OpenAI bevezeti a Structured Outputs funkciót és jelentős árcsökkentést jelent be a GPT-4o esetében
2024. szeptember 8.
Az OpenAI elindította a GPT-4o Mini-t és bemutatta a SearchGPT prototípusát
2024. augusztus 4.