A Google kutatói a 'Recirculation' módszerrel javítják a kontextus megtartását

A Google kutatást publikált a Recirculation eljárásról, amely segít a transzformereknek megőrizni a kontextust a feldolgozás során. Normál esetben az információ egyszer halad át a transformer rétegeken, de a Recirculation a mélyebb rétegekből származó gazdagabb reprezentációkat visszavezeti a sekélyebb rétegekbe, így a korán megszerzett értelmezés elérhető marad a későbbi bemenetek számára. Ez az interferencia (inference) során történik, a súlyok pedig rögzítettek: nincs szükség újratanításra, csak az információ modellbeli mozgásának módosítására. Az eredmények figyelemre méltóak: 60 százalékos csökkenés a kontextualizációs hibákban, 23 százalékkal alacsonyabb perplexitás, és 21 százalékos javulás a GSM8K benchmarkon.