Масштабирование до десятков тысяч итераций во время тестирования с loop-native residual-связями внимания

В статье представлена InfiLoop — собственная residual-связь для Transformers, предотвращающая ухудшение производительности при длительных тестовых итерациях, сохраняя полезные промежуточные состояния и подавляя ненадежные обновления. Она достигает высокой точности на задачах рассуждений, таких как Sudoku-Extreme и ARC-AGI-2, с улучшением производительности более чем на 20 000 эффективных шагов.