AI INFRASTRUCTURE
A National Deep Inference Fabric áthidalja a szakadékot az akadémiai szféra és a vezető AI laborok között
Akadémiai kutatók létrehozták a National Deep Inference Fabric-et (NDIF), egy tudományos infrastruktúrát, amely segíti őket a nagyméretű, nyíltan hozzáférhető AI modellekkel, például LLM-ekkel való kísérletezésben. Az NDIF több száz GPU-ból álló hardveres készletet (a „Delta AI” rendszeren keresztül) ötvöz szoftverrel (az nnsight nevű könyvtár segítségével), hogy segítse a tudósokat a nagyméretű AI modelleken végzett kísérletekben. A kereskedelmi AI inference szolgáltatások, mint a ChatGPT, a Claude és a Gemini, csak „black-box” hozzáférést biztosítanak a nagy modellekhez. Ez azt jelenti, hogy bár bemeneti adatokat küldhetünk a szolgáltatásoknak, és megkapjuk a kimenetet, nem teszik lehetővé a belső számítási folyamatok megfigyelését vagy módosítását. Ezzel szemben az NDIF teljes átláthatóságot biztosít az AI inference során, lehetővé téve a felhasználók számára a nagy AI modellek belső számításainak minden egyes lépésének részletes vizsgálatát és módosítását.
- Hardveres oldalon több száz GPU-t kapcsol össze a „Delta AI” rendszeren keresztül.
- Az nnsight könyvtárat használja, hogy segítse a kutatókat a részletes és reprodukálható kísérletek elvégzésében.
- Inkább az inference folyamatára összpontosít a tanítás (training) helyett, hogy fenntartható maradjon az akadémiai szintű hardvereken.
- Olyan modellekhez tervezték, amelyek súlyai szabadon hozzáférhetőek, mint például a LLaMa3.
- Teljes átláthatóságot biztosít a belső számítások megfigyeléséhez vagy módosításához, ellentétben a „black-box” jellegű kereskedelmi API-kkal.
Miért fontos?
Az NDIF alapvetően egy közfinanszírozott kísérlet arra, hogy rekonstruálják a nagyméretű AI laboratóriumok belső működését – egy hatalmas számítási kapacitást és a rajta futó modellek vizsgálatát segítő szoftvereket. Ellentétben a közszféra és a magánszféra közötti szakadék áthidalására irányuló egyéb kísérletekkel, az NDIF sikeres lehet, éppen azért, mert a tanítás helyett az inference-re fókuszál. ---