Когда токены EOS не согласны: понимание увеличения длины в on-policy distillation

В статье изучается увеличение длины в on-policy distillation (OPD), когда студенты генерируют слишком длинные ответы. Авторы выявили несоответствие в токенах окончания между базовыми студентами и пост-обученными учителями как важную причину. Показано, что просто выравнивание наборов остановки декодирования недостаточно, а обработка функционально эквивалентных токенов EOS как общих действий остановки значительно смягчает несоответствие.