AI CAPABILITIES
A GPT-4 az emberi résztvevők felső 11%-ában végzett egy hacking versenyen
A New York University kutatói azt tesztelték, mennyire teljesítenek jól a vezető nyelvi modellek, mint a GPT-4, hacking versenyeken. A modelleket a 2023-as Cybersecurity Awareness Week (CSAW) 26 kihívása elé állították, amelyek olyan kategóriákat fedtek le, mint a kriptográfia, törvényszéki elemzés, bináris exploitok, visszafejtés (reverse engineering) és webes kihívások.
Az eredmények érdemi bizonyítékot szolgáltatnak arra, hogy a mai élenjáró nyelvi modellek képesek támogatni és felgyorsítani a hackerek munkáját. Ez azt sugallja, hogy az AI rendszerek ígéretesek mind az AI-vezérelt védelem, mind a támadás hatékonyságának növelésében.
- A GPT-4 1319 pontot szerzett, amivel a 135. helyen végzett (összességében a felső 11,5%)
- A GPT-3.5 235 pontot ért el, bekerülve az emberi rangsor felső 50%-ába
- A Mixtral 210 pontot kapott, ami a rangsor felső 52,1%-át jelentette
- Hat különböző kategóriában tesztelték, beleértve a visszafejtést és a bináris exploitokat is
Miért fontos?
Az a tény, hogy egy automatizált LLM jobban teljesít az átlagos emberi résztvevőnél egy Capture The Flag (CTF) versenyen, azt sugallja, hogy a legfejlettebb modellek kellően jó kódolási ismeretekkel rendelkeznek ahhoz, hogy különböző kiberoperációkba integrálják őket. ---