Когда показатель предусловия становится отрицательным: связь коэффициента обучения и обобщение между средами

В этом исследовании изучается взаимодействие предусловия экспоненты в адаптивных оптимизаторах с коэффициентом обучения, показывая, что экспонента, максимизирующая точность в кросс-среде, уменьшается линейно с логарифмом коэффициента обучения. Отрицательные экспоненты не являются универсально оптимальными, но представляют собой режим высокой величины шага, вызванный совместным действием коэффициента обучения и предусловия. Исследование выявляет конфликт выбора модели между валидацией в исходной среде и устойчивостью к изменениям среды.