Я обучил GPT-2 с полным батчевым градиентным спуском, чтобы вам не пришлось это делать

Автор исследовал влияние шума при обучении нейронных сетей, используя полный батчевый градиентный спуск для обучения GPT-2. Результаты показали, что шум, связанный с выборкой батчей, может влиять на качество обучения, так как полный батч достигал более низкого значения потери на тренировочных данных, но худшего на валидационных.