OPENAI
Az OpenAI elindította a Biztonsági Értékelési Központot a modell teljesítményének nyilvános nyomon követésére
Az OpenAI új Biztonsági Értékelési Központot (Safety Evaluations Hub) indított, amely nyilvánosan és rendszeresen közzéteszi AI modelljeinek teszteredményeit, megmutatva teljesítményüket olyan mérőszámok alapján, mint a káros tartalom generálása, a hallucinációs arány és a jailbreak kísérletek.
- A központ összehasonlító teljesítményadatokat mutat az OpenAI modellek között, beleértve a káros tartalmak elutasítására és a ténybeli kérdések pontosságára vonatkozó mutatókat.
- Az irányítópult jelenleg négy kategóriára összpontosít: káros tartalom, jailbreak sebezhetőség, hallucinációs arány és az utasítás-hierarchiának való megfelelés.
- Az OpenAI ígérete szerint az oldalt "időszakosan" frissítik egy vállalati szintű törekvés részeként, amely az AI biztonsággal kapcsolatos proaktívabb kommunikációt célozza.
- A megjelenés azokat a kritikákat követi, amelyek szerint a vállalat nem elég átlátható a biztonsági tesztelés terén, valamint egy nemrégiben kiadott GPT 4o frissítés körüli problémák után történt.
Miért fontos?
Mivel a laborok versenyeznek a modellek megjelentetésével, hogy lépést tartsanak a riválisokkal, sokan úgy vélik, hogy a biztonság háttérbe szorult a sebességgel szemben. Ez egy nagyszerű lépés a nagyobb átláthatóság felé, de az OpenAI önbevallására és az adatok folyamatos frissítésére támaszkodik – ami valószínűleg nem fogja teljesen kielégíteni a szigorúbb biztonsági intézkedéseket követelőket. ---