A MedTrinity-25M adatkészlet AI-t használ több millió orvosi kép annotálására
A Huazhong Tudományegyetem, az UC Santa Cruz, a Harvard és a Stanford kutatói létrehoztak egy MedTrinity-25M nevű, nagyszabású orvosi kutatási adatkészletet. Az adatkészlet 25 millió adatpontot, úgynevezett tripletet tartalmaz. Minden triplet egy képből, egy érdekelt területről (ROI) és egy leírásból áll.
Mint sok mai adatkészletet, a MedTrinity-t is az AI tette lehetővé; a szerzők a GPT-4V-t használták a képaláírások megírásához (a kapcsolódó metaadatok alapján). A szerzők ezután bemutatták, hogy a LLaVA-Med++ modell MedTrinity-25M-en történő finomhangolásával jelentősen javítani tudták az eredményeket a VQA-RAD, SLAKE és PathVQA orvosi benchmarkokon.
- 25 millió tripletet tartalmaz, amelyek képeket, ROI-kat és szöveges leírásokat foglalnak magukban.
- Az adatok MRI, hisztopatológiai és CT vizsgálatokat is lefednek.
- Olyan fő testtájakra összpontosít, mint az agy, a tüdő, a bőr és a máj.
- Az annotációk tartalmazzák a határolókereteket (bounding boxes), szegmentációs maszkokat és a régiók közötti kapcsolatokat.
- A GPT-4V-t a produktivitás növelésére használták, jelentősen csökkentve a nagyszabású adatkészletek összeállításának költségeit.
Miért fontos?
A MedTrinity kiváló példa arra, hogyan váltak az AI-rendszerek elég jártassá ahhoz, hogy segítsenek a valóságból gyűjtött nagyszabású adatkészletek összeállításában, annotálásában és szűrésében. Ez lehetővé teszi a kutatók számára, hogy megsokszorozzák a tudósok produktivitását, és csökkentsék a speciális, kiváló minőségű adatkészletek létrehozásának akadályait. ---