A PRISM adatkészlet feltérképezi a globális emberi interakciókat és preferenciákat az LLM-ekkel
Egy új, PRISM (Participatory Representative Individualized Subjective Multicultural) nevű adatkészlet elsőként nyújt betekintést abba, hogyan interaktálnak az emberek világszerte az LLM-ekkel. Az adatkészlet részletes kérdőíves válaszokat rendel hozzá több mint 20 különböző modellel (köztük a GPT-4-gyel és a Claude-dal) folytatott élő beszélgetésekhez. A résztvevők részletes visszajelzést adtak, a válaszokat a „szörnyű”-től a „tökéletes”-ig értékelték, és konkrét beszélgetési típusokat választottak a semleges feladatoktól kezdve az értékrend- vagy ellentmondás-alapú párbeszédekig.
- 1500 angolul beszélő résztvevőt tartalmaz, akiket közösségi munkavégzési platformon keresztül toboroztak.
- Népszámlálási adatok alapján reprezentatív mintákat tartalmaz az Egyesült Királyságból és az USA-ból, valamint 33 további országspecifikus tanulmányt.
- 75 különböző országban született résztvevőt fed le, képviselve a jelentősebb etnikai és vallási csoportokat.
- Elemzi az identitás és a témák közötti összefüggéseket, például a nemi identitás és a vitatott témák kapcsolatát.
- Összekapcsolja a többfordulós interakciók leiratait az egyedi résztvevői profilokkal és demográfiai adatokkal.
Kapcsolódó hírek