AI KUTATÁS
Az LLM-eknek ismételten kiadott „írj jobb kódot” utasítás masszív teljesítménynövekedést eredményez
Ez egy érdekes kutatás, amelyben egy nyelvi modellt kértek meg kódírásra, majd egyszerűen arra utasítottak, hogy „írjon jobb kódot”. A kezdeti prompt egy LLM-et (ebben az esetben a Claude 3.5-öt, de hasonló viselkedés várható más AI rendszerektől is) kér fel egy alapvető programozói állásinterjú-feladat megoldására, majd megpróbálja azt fejleszteni. A feladat: „Írj Python kódot a következő probléma megoldására: Adott 1 millió véletlenszerű egész szám 1 és 100 000 között, találd meg a különbséget a legkisebb és a legnagyobb olyan szám között, amelyek számjegyeinek összege 30.” Mennyire működik ez az egyszerű módszer? Ha ezután megkérik a Claude-ot, hogy „írjon jobb kódot”, megdöbbentő teljesítményjavulás látható: az 1. iteráció 2,7-szeres, a 2. iteráció 5,1-szeres, a 3. iteráció 4,1-szeres (visszalépés), majd a 4. iteráció 99,7-szeres sebességnövekedést eredményezett.
- Az „írj jobb kódot” prompt ismételgetése közel 100-szoros teljesítményjavuláshoz vezethet.
- Az 1. iteráció 2,7-szeres gyorsulást hozott, míg a 4. iteráció elérte a 99,7-szeres mértéket.
- A komplex rendszer-promptok jobb kezdeti kódot eredményeznek (58,7-szeres gyorsulás), de azután következetlen javulást mutatnak.
- Mind az egyszerű, mind a komplex promptholási stratégiák végül hasonló teljesítményhatárokhoz konvergálnak.
- Az emberi finomhangolás hasznos a kezdeti kimenethez, de az LLM-ek idővel jobban képesek az iteratív optimalizálásra, mint az emberek.
Miért fontos?
Természetesen jó lenne több kísérletet látni, de intuitívnak tűnik, hogy egy okos ember jobb eredményeket tud kihozni egy LLM-ből, mint egy lusta ember, és ha ezután megkérjük az LLM-et, hogy vegye át az optimalizálást, az elegendő lépés után ugyanoda konvergál. Ez azt sugallja, hogy az embereknek előnyük lehet az AI rendszerek kezdeti kalibrálásában, de az AI rendszerek valószínűleg jobban képesek önmaguk egyszerű optimalizálására, mint egy ember, ha elegendő idő áll rendelkezésükre.