Az Anthropic visszatartja a "kockázatos" Claude Mythos modellt
Egy rossz időben megjelent blogbejegyzés a múlt héten kiszivárogtatta az Anthropic következő modelljét – a Claude Mythos-t. Ez valós, és jelentős javulást mutat a benchmarkokon az Opus 4.6-hoz képest, beleértve az 53,4% → 77,8%-ot a SWE-bench Pro-n és a 65,4% → 82%-ot a Terminal-Bench 2.0-n. Azonban az Anthropic nem adja ki nyilvánosan, mert kivételesen ügyes a szoftveres sérülékenységek felkutatásában és kihasználásában. Például a Firefox exploit generálásában az Opus több száz próbálkozásból 2 működő exploitot produkált, míg a Mythos 181-et. Emellett több évtizedes hibákat is felfedezett olyan kritikus szoftverprojektekben, mint az OpenBSD (27 éves hiba) és az FFmpeg (16 éves hiba). Nyilvános kiadás helyett az Anthropic 12 vállalatnak biztosít előzetes hozzáférést a Mythos-hoz a "Project Glasswing" keretében, hogy azonosítsák a kritikus szoftverek sérülékenységeit. Az Anthropic 100 millió dollárt fektet be modellhasználati kreditekbe és 4 millió dollárt adományoz open-source biztonsági szervezeteknek erre a projektre. Theo videót készített erről, megjegyezve, hogy "a Mythos az Opushoz úgy viszonyul, mint az Opus a Sonnethez."
- 77,8%-ot ért el a SWE-bench Pro-n (az Opus 4.6 53,4%-áról).
- 82%-ot ért el a Terminal-Bench 2.0-n (az Opus 4.6 65,4%-áról).
- 181 működő exploitot generált Firefox sérülékenységekre, szemben az Opus 2-jével.
- Felfedezett egy 27 éves hibát az OpenBSD-ben.
- Talált egy 16 éves hibát az FFmpeg-ben.
- 12 vállalat kapott előzetes hozzáférést a Project Glasswing keretében.
- Az Anthropic 100 millió dollárt kötelez el modellhasználati kreditekben és 4 millió dollárt adományokban open-source biztonsági szervezeteknek.