MI Történik?

A "black box" (fekete doboz) probléma továbbra is fennáll: emberek százmilliói használnak nagy nyelvi modelleket (LLM) nap mint nap, de még az alkotóik sem értik teljesen a működésüket. Az MIT Tech Review új cikke azt járja körül, hogyan kezelik a kutatók az LLM-eket idegen organizmusokként – rétegről rétegre boncolva őket, hogy feltárják, mi történik belül. Az LLM-ek megértése. A kutatók két technikát alkalmaznak az LLM-ek működésének jobb megértéséhez. A mechanisztikus értelmezhetőség (mechanistic interpretability) másodlagos modelleket használ az aktivációk LLM-en belüli mozgásának nyomon követésére, ami szinte olyan, mint egy MRI az AI számára. A gondolatmenet-monitorozás (chain-of-thought monitoring) egy érvelő modell belső "piszkozatát" olvassa a feladatmegoldás közben – mintha a belső monológját hallgatnánk. Amit felfedeznek, az különös. Az LLM-ek nem úgy verifikálják a tényeket, mint az emberek. Ha megkérdezzük a Claude-ot: "Sárga a banán?" és "Igaz, hogy a banán sárga?", mindkét válasz igen lesz, de ezek a modell teljesen eltérő részeiből érkeznek. Az egyik rész ismeri a tényt, a másik pedig a tényekkel kapcsolatos állításokat értékeli. Nem feltétlenül létezik egy központi "igazságforrás", amely fenntartaná a következetességet – ezért mondanak ellent maguknak oly könnyen a chatbotok.