A vezető AI-modellek megbuktak a közelgő uniós AI-törvény megfelelőségi tesztjein
2025 januárja nehéz hónap lesz az AI-cégek számára Európában. Ekkor lép életbe az uniós AI-törvény (EU AI Act), amely előírja, hogy minden AI-modellnek bizonyítania kell a biztonságát, etikusságát és az új szabályozásoknak való megfelelését. Az ETH Zurich új kutatása szerint jelenleg egyetlen jelentős modell sem menne át a vizsgán. A zürichi kutatók létrehozták a COMPL-AI-t, az első keretrendszert annak értékelésére, hogy a nyelvi modellek megfelelnek-e az uniós AI-törvény követelményeinek. Ez gyakorlatilag egy bizonyítvány a nyelvi modellek számára az uniós szabályozókkal szemben. A kutatók 12 jelentős AI-modellt teszteltek — köztük a GPT-4-et, a Claude 3-at és a Llama 3-at —, ellenőrizve mindent a hackerekkel szembeni ellenállástól kezdve az egyes csoportokkal szembeni elfogultságig.
Ezen a ponton a nagy AI-startupoknak érdemes lenne közös csoportos csevegést indítaniuk a Meta, a Google és az Amazon képviselőivel, hogy megbeszéljék, hogyan kezeljék az uniós bírságokat. Ez a három cég már több milliárd eurónyi büntetést halmozott fel! Érdekesség: az AI-ipar azzal kritizálja az EU AI-törvényét, hogy túl messzire megy — egy vírusként terjedő poszt például azzal vádolta a törvényt, hogy Európát a túlszabályozás „Kafka-világává” változtatja. De amikor a Hacker News olvasói beleásták magukat a részletekbe, a legtöbben egyetértettek abban, hogy a szabályok valójában elég ésszerűek.
- A GPT-4 Turbo érte el a legmagasabb pontszámot az etikai elvek és technikai követelmények terén.
- A Meta Llama 2-7B Chat modellje kapta a legalacsonyabb pontszámot az összes tesztelt modell közül.
- Szinte az összes vizsgált modell jelentős nehézségekkel küzdött a megkülönböztetésmentesség és a méltányosság terén.
- A legjobban teljesítő modellek, mint a GPT-4 és a Claude 3 is csak 83% körüli pontszámot értek el.
- Kivétel nélkül minden modell megbukott az olyan alapvető követelményeken, mint az AI által generált tartalom követését szolgáló vízjelek használata.
Miért fontos?
Európa két évvel előre szólt az AI-cégeknek, hogy mi lesz a tesztben — és kevesebb mint egy évvel a kezdés előtt még a világ legfejlettebb modelljei is küzdenek azzal, hogy átmenjenek a próbavizsgán. Ami ezután történik, az dönti el, hogy ezek a cégek folytathatják-e tevékenységüket a világ egyik legnagyobb piacán. ---