A Cursor AI támogatási botja hamis irányelvet hallucionált, ami felhasználói lemondásokhoz vezetett
A Rundown: Az ágens-alapú kódolási platform, a Cursor komoly kritikákkal nézett szembe, miután AI támogatási ágense, Sam, egy hamis irányelvet hallucinált, ami felhasználói felháborodást és előfizetés-lemondásokat váltott ki.
- Egy Reddit-felhasználó váratlan kijelentkezéseket tapasztalt az eszközök közötti váltáskor, ami miatt támogatási megkeresést küldött, amelyre egy AI ágens válaszolt.
- Az AI egy olyan irányelvet hallucinált, amely szerint az egyetlen eszközre való korlátozás szándékos biztonsági funkció, ami felháborodást és lemondásokat eredményezett.
- A Cursor társalapítója elismerte a hibát, kifejtve, hogy egy biztonsági frissítés okozta a bejelentkezési problémákat, az irányelvet pedig az AI teljes egészében kitalálta.
- Hozzátette, hogy a vállalat a jövőben egyértelmű AI-jelölést alkalmaz a támogatási válaszoknál, és kártalanítja az érintett felhasználókat.
Miért fontos?
Az AI ágenseket övező felhajtás sosem volt még ilyen erős, de az ehhez hasonló tanulságos történetek megmutatják, hogy a hallucinációk továbbra is komoly problémát jelentenek az ügyfélközpontú botok bevezetésekor. Annak ellenére, hogy a cégek sietnek az ügyfélszolgálat automatizálásával, az AI-robbanás ezen szakaszában még korai lehet a teljes automatizáció.
Kapcsolódó hírek