Hogyan tegyük önfejlesztővé az AI promptokat Karpathy Autoresearch módszerével
Nick Saraev bemutatta, hogyan kombinálható a Claude Code tudása Andrej Karpathy autoresearch metodológiájával egy önfejlesztő prompt-rendszer létrehozásához. A koncepció lényege egyszerű, bináris (igen/nem) értékelési kritériumok („eval suite”) írása, majd egy ágens segítségével kimenetek generálása, azok pontozása és a prompt módosítása a győztes verzió megtartásával. Ezen ciklus megismétlése közel tökéletes prompt-teljesítményhez vezet. A diagramgeneráló készsége néhány futtatás után 80%-ról 97,5%-os pontosságra javult, ciklusonként körülbelül 0,20 dolláros költség mellett. A weboldal-optimalizálási tesztek során a betöltési idő 1100 ms-ról 67 ms-ra csökkent 67 kísérlet alatt. A kulcs az olyan egyszerű kritériumok meghatározása, amelyeket a modell nem tud könnyen kijátszani.
- Határozzon meg bináris igen/nem értékelési kritériumokat a Likert-skálák zajának elkerülése érdekében.
- Használjon egy ágenst, amely 2 percenként 10 kimenetet generál.
- Értékelje az összes kimenetet a kritériumok alapján, és összesítse a pontszámokat.
- Módosítsa a promptot a legmagasabb pontszámot elérő verzió alapján, majd ismételje meg a folyamatot.
- Alacsony költségű optimalizálás: Közel tökéletes eredmények tesztciklusonként körülbelül 0,20 dollárból.
Ez a módszertan lehetővé teszi a felhasználók számára a prompt engineering fáradságos folyamatának automatizálását, nagy pontosságú eredményeket és technikai optimalizálást érve el iteratív, AI-vezérelt kutatáson keresztül. ---