Закрытие разрыва в контексте: Активационная синхронизация для табличного обучения на примерах

В статье представлена методика активационной синхронизации, которая использует полный контекст для улучшения производительности табличных фундаментальных моделей при ограниченном объеме данных. Обучение легкой линейной трансформации на синтетических данных позволяет синхронизировать промежуточные активации модели с ограниченным контекстом с активациями модели, использующей весь набор данных, что приводит к значительным улучшениям производительности на нескольких наборах данных.