ACLArena: Непрерывное обучение агентов в многоэтапной пост-тренировке

В статье представлена ACLArena — фреймворк для изучения непрерывного обучения агентов (ACL), анализирующий механизмы забывания и обобщения на уровне модели и токена. Проводится сравнение методов, таких как многотьюторское дистиллирование и объединение моделей, и предлагается новый подход ACL, сочетающий офлайн-реплеи с маршрутизированной сетью экспертов LoRA, специализированных с помощью RL, демонстрирующий эффективность в многодоменном обучении.