A Center for AI Safety 250 ezer dolláros SafeBench versenyt hirdet benchmarkok készítésére
A Center for AI Safety létrehozta a SafeBench elnevezésű versenyt, amely díjakkal jutalmazza azokat, akik új benchmarkokat (teljesítménymérő teszteket) fejlesztenek az AI rendszerek biztonságának értékelésére. „250 000 dollárnyi díjat osztunk ki – öt darab 20 000 dolláros és három 50 000 dolláros fődíjat a legjobb benchmarkokért” – írta a szervezet. A jelentkezés már nyitott, a beküldési határidő 2025. február 25., a győzteseket pedig 2025 áprilisában hirdetik ki.
- Összdíjazás: Összesen 250 000 dollár, benne három 50 000 dolláros fődíjjal.
- Fókuszterületek: Robusztusság, monitorozás, alignment (igazítás) és biztonsági alkalmazások.
- Referencia példák: A TruthfulQA, a MACHIAVELLI és a HarmBench típusú benchmarkokat keresik.
- Zsűri: Szakértők a Center for AI Safety-től, a Chicagói Egyetemről, az AI2025-től és a Carnegie Mellon-ról.
Miért fontos?
Világszerte számos AI szabályozó intézmény (például az EU AI Office vagy az Egyesült Királyság AI Safety Institute-ja) keresi a módját a modellek kockázatainak és biztonságának mérésére. A hatékony benchmarkok elengedhetetlenek ezen szabályozások gyakorlati megvalósításához. ---
Kapcsolódó hírek