Приросты и коллапс в on-policy distillation: Перспектива обучения с подкреплением

Статья изучает на-policy distillation (OPD) в постобучении языковых моделей, объясняя, как это может привести как к улучшению производительности, так и к коллапсу генерации. Она предполагает, что OPD усиливает поведение студентов, любимое неявной обратной связью учителя, и предлагает методы, такие как маскировка нездоровых ответов и инициализация SFT, для смягчения коллапса.