MI Történik?

Emlékeznek Mira Muratira, az OpenAI korábbi technológiai igazgatójára (CTO), aki 2024 szeptemberében távozott? Nos, új startupja, a Thinking Machines Lab (vagy csak egyszerűen „Thinky”) épp most tette közzé első kutatási anyagát, amely egy olyan hibát orvosol, ami a ChatGPT indulása óta bosszantja az AI mérnököket. A „Defeating Nondeterminism in LLM Inference” című tanulmány a nyelvi modellek (mint a ChatGPT) „reprodukálhatósági” problémáját járja körül. A gond a következő: még ha az AI modelleket a legkiszámíthatóbb beállításra is állítják (temperature = 0), akkor is eltérő válaszokat adhatnak ugyanarra a kérdésre. A mérnökök eddig azt hitték, hogy ez csak egy „kivédhetetlen számítástechnikai jelenség”. Kiderült, hogy tévedtek. A felfedezés Horace He-től származik, aki a PyTorch (AI kód) szakértőjeként nemrég igazolt át a Meta-tól Murati csapatához. Ő áll a „torch.compile” mögött is (ami egyetlen sornyi kóddal 2-4-szer gyorsabbá teszi az AI modellek futását). Horace és csapata rájött, hogy a valódi bűnös nem az, amire a mérnökök általában gyanakodnak (a lebegőpontos matematika furcsaságai), hanem az úgynevezett „batch invariance” hiánya. A Thinky nyílt forráskódú (open-source) szoftverként tette közzé a megoldást, hűen Murati ígéretéhez, miszerint „a tudomány megosztva jobb”. Megközelítésüket „batch-invariant kernels”-nek nevezik, ami alapvetően arra tanítja meg az AI szervereket, hogy ugyanazt a „kávét” adják a vásárlónak, függetlenül attól, hogy mekkora a sor. Érdemes megjegyezni: ez csak az előétel egy olyan csapattól, amely nemrég 2 milliárd dollárt gyűjtött össze anélkül, hogy terméke lenne (bár belsőleg már dolgoznak egy „RL for businesses” nevű megoldáson, amely a modelleket egy vállalat specifikus üzleti mutatóihoz igazítja). Ha évtizedes, „megoldhatatlannak” hitt problémák kijavítása az első lépésük, az AI óriásoknak talán van okuk az aggodalomra.