MEND: Обучение с подкреплением для моделей потока через приближенное сопоставление скоростей

MEND — это метод усиленного обучения для моделей потока, использующий приближенное сопоставление скоростей для ограничения вознаграждений внутри каждой группы запросов, предлагая перемещения вдоль градиента вознаграждения только тогда, когда прирост вознаграждения превышает квадратичную стоимость смещения. Он превосходит существующие методы, такие как Flow-GRPO, ReFL и DiffusionNFT, с меньшим количеством итераций и без необходимости использования KL-члена или зафиксированной модели-справочника.