AI-kutatók elindították a Sequent projektet az alulfinanszírozott összehangolási kutatások támogatására
Az Egyesült Királyság AI Biztonsági Intézetének és a Timaeus nevű összehangolással (alignment) foglalkozó startup kutatói megalapították a Sequent-et. Ez az új nonprofit kutatási szervezet a szuperintelligens AI-k összehangolási technikáinak kidolgozására összpontosít. Az alapítók érvelése szerint a nagy AI-laboratóriumok jelenlegi empirikus programjai valószínűleg nem nyújtanak előzetes (a priori) garanciát a biztonságra a mesterséges szuperintelligencia (ASI) betanítása előtt. A Sequent célja differenciált összehangolási módszerek kidolgozása, amelyek túllépnek a mai reaktív megoldásokon, és elméleti betekintést nyújtanak abba, hogyan általánosítják a rendszerek az összehangolást a kontrollált környezetből a való világba.
- Céljuk, hogy pár éven belül 40-80 teljes munkaidős alkalmazottat vegyenek fel.
- Kezdetben 100-150 millió dollár tőkét kívánnak bevonni, ami siker esetén az 1 milliárd dollárt is meghaladhatja.
- A kutatási területek közé tartozik a skálázható felügyelet (scalable oversight), a tanuláselmélet, a heurisztikus érvelés, a játékelmélet és a karakterprofilok (personas).
- Az „elérhető egyensúlyi állapotokra” összpontosítanak, hogy megértsék, hol konvergálnak a skálázható felügyeleti módszerek.
- A tanuláselméletet és a karakterprofilokat ötvözve azonosítják és állítják be a betanítás során használt „szabályozókat” (változókat).
Ahogy az AI-rendszerek elérik az emberi kutatók szintjét, vagy elkezdik a rekurzív önfejlesztést (RSI), az emberiségnek nagyobb bizonyosságra van szüksége az összehangolás terén, mint amit a jelenlegi próbálkozás-hiba módszerek nyújtanak. Az olyan független szervezetek, mint a Sequent, elengedhetetlen „riasztórendszerként” és alternatív kutatási útvonalként szolgálnak a nagy laboratóriumokon kívül. ---