GOOGLE
Független tanulmány szerint a Google Gemini Pro elmarad a GPT-3.5 Turbo mögött
A Google legértékesebb AI-vagyona, a Gemini, pórul járt egy új, független tanulmányban – alulmaradt az olyan ingyenes OpenAI modellekkel szemben, mint a GPT-3.5. Friss, harmadik féltől származó tesztek alapján a Google új (és megosztó) Gemini Pro LLM modellje a legtöbb benchmarkon kissé elmarad az ingyenes OpenAI modellek, például a GPT-3.5 mögött, a bevezetését övező hatalmas hype ellenére.
- Az akadémiai, logikai, matematikai és egyéb feladatok során a Gemini valamivel kevesebb problémát oldott meg, mint a GPT-3.5.
- A hibák mögött vélhetően a hosszabb lekérdezésekkel való küzdelem, az agresszív tartalomblokkolás és a válaszlehetőségek végére való elfogultság állt.
- Egy területen a Gemini kiemelkedett: a nem angol nyelvű generálásban – bár a tartalomszűrés miatt a válaszok 10 nyelvpár esetében blokkolásra kerültek.
- A Google képviselője vitatta a tanulmány állításait, a vállalat saját kutatásaira hivatkozva, és felhívta a figyelmet a Gemini Ultra 2024 eleji megjelenésére.
Miért fontos?
Vajon a Gemini virgácsot kap az idei ünnepi szezonban? Miközben minden szem a Google zászlóshajó AI-indítására szegeződik, a tanulmány számai egyértelműen azt mutatják, hogy a tech óriás lemaradásban van. Ha a Gemini Ultra nem mutat jelentős fejlődést a jövő év elején, a helyzet kellemetlenné válhat a Google számára. ---