Nyelvi modellek
A Microsoft kiadta a BitNet.cpp keretrendszert a nagy teljesítményű, 1-bites LLM-ek futtatásához CPU-kon
A Microsoft nyílt forráskódúvá tette a bitnet.cpp-t, egy nagy teljesítményű keretrendszert, amely lehetővé teszi az 1-bites nagy nyelvi modellek (LLM) hatékony futtatását szabványos CPU-kon. A keretrendszer lehetővé teszi, hogy a modellek az emberi olvasással összemérhető sebességet érjenek el csúcskategóriás GPU-k használata nélkül.
- Lehetővé teszi az 1-bites LLM-ek zökkenőmentes futtatását szabványos CPU hardvereken
- Közel emberi olvasási sebességet ér el a helyi következtetés (inference) során
- Csökkenti a fejlett modellek futtatásához szükséges számítási és hardverigényeket