A BIOPROT adatkészlet az LLM-ek képességét értékeli a tudományos biológiai laboratóriumi protokollok automatizálására

Az Align to Innovate, a Francis Crick Institute, a Future House és az University of Oxford kutatói olyan adatkészletet hoztak létre, amellyel azt tesztelik, mennyire jól tudnak a nyelvi modellek biológiai protokollokat írni – azaz pontos, lépésről lépésre kidolgozott utasításokat egy kísérlet elvégzéséhez egy konkrét cél elérése érdekében. A tesztek során azt találták, hogy az olyan nyelvi modellek, mint a GPT-3.5 és 4, már most képesek ésszerű biológiai protokollokat összeállítani, ami újabb bizonyíték arra, hogy a mai AI-rendszerek képesek érdemben automatizálni és felgyorsítani a tudományos kísérletezést.

Amit építettek – BIOPROT: A kutatók egy automatizált megközelítést fejlesztettek ki a nyelvi modellek biológiai protokollíró képességének értékelésére. Ehhez egy olyan, nyilvánosan elérhető laboratóriumi protokollokból álló adatkészletet hoztak létre, amely szabad szöveges utasításokat és protokoll-specifikus pszeudokódot is tartalmaz. A BIOPROT 100 protokollt tartalmaz, protokollonként átlagosan 12,5 lépéssel. Egy „tanár” modellt használnak az elfogadható műveletkészletek és a pszeudokódban megadott helyes válaszok generálására, hogy értékeljék egy „diák” modell teljesítményét a nulláról.

Valós teszt: Tesztelték a GPT-3.5-öt és a GPT-4-et, és azt találták, hogy a GPT-4, amikor kiegészítették kereséssel kibővített tudásgenerálással (RAG), sikeresen hozott létre olyan új protokollokat, amelyeket egy tudós átnézett, és laboratóriumi használatra pontosnak talált.