RetireOPD: Саморетирующееся на-policy дистиллирование для агентного обучения с подкреплением

В статье представлена методика RetireOPD для агентного обучения с подкреплением, которая использует саморетирующееся на-policy дистиллирование. Она оптимизирует учителя, условленного навыками, с помощью вознаграждений среды, а затем обучает ученика без навыков с помощью RL и OPD, позволяя ученику прекратить использование учителя, когда производительность стабилизируется. RetireOPD повышает показатели успешности в задачах ALFWorld и WebShop по сравнению с базовым подходом RL.