Максимальное среднее расхождение в пространстве представлений для диффузионных языковых моделей

В статье представлена методика пост-тренировки для диффузионных языковых моделей (DLM), которая уменьшает максимальное среднее расхождение (MMD) между сгенерированными и референсными распределениями в пространстве признаков предобученной DLM. Подход использует контекстные признаки на отдельных позициях токенов для оценки MMD, что позволяет эффективно проводить пост-тренировку без полных траекторий выборки или вспомогательных моделей.