FLAT: Пересampling изображений и текста в 1D гибкие длины выровненных трансмодальных токенов для поиска и генерации

FLAT — это фреймворк предварительной тренировки, совместно оптимизирующий общую мультимодальную энкодерную модель с декодерами текст-изображение и изображение-текст, что позволяет получать гибкие выровненные трансмодальные представления для поиска и генерации. Он преобразует визуальные и текстовые входы в единую последовательность 1D и показывает высокую производительность на различных задачах.