MI Történik?

Az Apple AI csapata egy igazságbombát dobott a nagy nyelvi modellek világára. Egy új tanulmányban kimutatták, hogy a népszerű AI chatbotok, mint a ChatGPT, nem azok a matekzsenik, aminek gondoltuk őket. Épp ellenkezőleg – küzdenek az alapvető érveléssel, amit a legtöbb ember magától értetődőnek vesz. A kutatók kifejlesztettek egy új benchmarkot GSM-Symbolic néven, hogy próbára tegyék ezeket a modelleket. Amikor kiwi-k megszámlálására kérték őket, sok vezető modell elbukott (beleértve a GPT-t és a Claude-ot is), levonva öt „kisebb” kivit, amikor azok méretének egyáltalán nem kellett volna számítania. Ez egy lényegtelen részlet volt, amit ki kellett volna szűrni. Ezért a tanulmány arra a következtetésre jutott, hogy a jelenlegi nyelvi modellek nem valódi érvelést folytatnak. Ehelyett „kifinomult mintázatfelismerést” végeznek, amely tüzetesebb vizsgálat során összeomlik. Hát persze, ezért hívják őket „prediktív modelleknek”, Apple! A maga részéről Ilya, az OpenAI korábbi munkatársa azt mondja, hogy a következő szó megjóslása elvezet a megértéshez. Vajon több jóslat több megértéshez, például érveléshez vezethet? Mindenesetre ez áll az o1 elképzelése mögött.