Az új RouteLLM keretrendszer optimalizálja a teljesítményt és a költségeket az LLM-ek között
Az Lmsys kutatói új tanulmányt tettek közzé a RouteLLM-ről, amely egy nyílt forráskódú (open-source) keretrendszer a nagy nyelvi modellek közötti költséghatékony útvonalválasztáshoz.
- A RouteLLM megtanulja a lekérdezéseket egy erősebb, drágább LLM és egy gyengébb, olcsóbb LLM között irányítani a költségek és a teljesítmény optimalizálása érdekében.
- A rendszer szűrőként működik, amely eldönti, melyik LLM-nek küldje el az üzenetet, emberi preferenciákra vonatkozó adatokat használva a helyes útvonal meghatározásához.
- A GPT-4 és a Mixtral-8x7B közötti útvonalválasztási tesztekben a RouteLLM jelentős költségmegtakarítást ért el, miközben megőrizte a GPT-4 teljesítményének 95%-át.
Miért fontos?
Ahogy az LLM-ek egyre erősebbé válnak, az intelligens útvonalválasztás segíthet jelentősen csökkenteni a gyakran magas költségeket a minőségi eredmények megtartása mellett. Az útvonalválasztók (routerek) idővel a felhasználói lekérdezések legalkalmasabb vagy leginkább specializált LLM-ekhez való irányításában is szerepet kaphatnak – kihasználva a különböző modellek erősségeit és gyengeségeit. ---
Kapcsolódó hírek
Tanulmány: Az AI tutorok felülmúlják a jogi kart
2026. június 4.