MI Történik?

A Huawei Orosz Kutatóintézetének kutatói megpróbáltak nyíltan hozzáférhető nyelvi modelleket használni sebezhetőség-észlelésre. Munkájuk útmutatóként és receptkönyvként szolgál azok számára, akik egy modellt valamilyen specifikus célra szeretnének adaptálni – ez különösen azoknak releváns, akik szűkös számítási kerettel gazdálkodnak, mivel a tanulmány tele van a csapat által tapasztalt „hardveres korlátokra” való hivatkozással. Mit tettek: LoRA (Low-Rank Adaptation) eljárást használtak a 13B paraméteres WizardCoder modell finomhangolására (finetuning) egy sor összegyűjtött sebezhetőségi adatkészleten – mint a CVEfixes, a VCMatch és egy általuk összeállított, manuálisan kezelt adatkészlet (624 nyilvánosan közzétett sebezhetőség 205 nyílt forráskódú Java projektben). A veszteségfüggvényt (loss function) is megváltoztatták a következő-token predikcióról (ami a nyelvi modellezésnél megszokott) „egy olyan osztályozási veszteségre, amely csak az utolsó token jósolt valószínűségét használja ki”. A tesztek során azt találták, hogy „a finomhangolt WizardCoder felülmúlja a finomhangolt ContaBERT-et mind a ROC AUC, mind az F1 metrikák tekintetében a kiegyensúlyozott sebezhetőség-észlelési feladaton”, és ugyanezt a javulást mutatták ki kiegyensúlyozatlan feladatoknál is. „Ez előrelépés a korábbi CodeBERT-alapú modellekhez képest, valószínűleg a WizardCoder nagyobb modellkapacitásának és előtanítási korpuszának köszönhetően” – írják.