String Seed of Thought: Prompting Trükk az LLM Véletlenszerűséghez
Kou Misaki és Takuya Akiba a Sakana AI-tól bevezettek egy prompting technikát, a String Seed of Thought (SSoT) nevűt, amelyet egy alapvető probléma kezelésére terveztek: a Large Language Model-ek (LLM-ek) nehezen birkóznak meg az igazi véletlenszerűséggel. Amikor véletlenszerű kiválasztásokat kérnek tőlük, például egy szám kiválasztását 1 és 100 között, az LLM-ek hajlamosak torzításokat mutatni, gyakran olyan számokat adnak vissza, mint a 42 vagy a 37, sokkal gyakrabban, mint amit a puszta véletlen megengedne. Ez a belső torzítás torzíthatja az eredményeket olyan kritikus feladatokban, mint az ötletelés, az A/B tesztelés és a szintetikus adatgenerálás. Az SSoT módszer megoldást kínál azáltal, hogy utasítja a modellt, hogy először generáljon egy véletlenszerű stringet, majd determinisztikusan manipulálja ezt a stringet a végső válasz levezetéséhez, ezáltal eltávolítva a kimeneteket a modell belső preferenciáitól és torzításaitól.
- A módszer utasítja a modellt: Mielőtt választ generálna, először hozzon létre egy véletlenszerű, 12 karakteres alfanumerikus stringet.
- Ezután összegezze a string karaktereinek ASCII értékeit, és számolja ki az eredményt modulo [N], ahol N a megadott opciók teljes számát jelenti.
- Használja ezt a kiszámított számot 0-alapú indexként a megfelelő opció kiválasztásához a megadott listából.
- Ezt a folyamatot be kell fejezni, MIELŐTT a modell bármilyen érvelésbe kezdene, vagy saját preferenciáit alkalmazná az opció kiválasztására vonatkozóan.
- A modellnek ezután jelentenie kell a generált véletlenszerű stringet, a kiszámított összeget és a végső kiválasztását.
- Az eredmények azt mutatták, hogy az "egyet válassz" feladatoknál az SSoT lehetővé tette a DeepSeek-R1 számára, hogy valódi véletlenszerű eloszlási hűséget érjen el, és jelentősen javította az Opus, GPT-5 és Gemini modellek válaszainak sokszínűségét.