Насколько близки мы к удалению визуального кодировщика? Законы масштабирования для encoder-free мультимодальной предварительной настройки

Исследование сравнивает законы масштабирования для encoder-free и encoder-based мультимодальных больших языковых моделей (MLLM), показывая, что удаление визуального кодировщика смещает распределение вычислительных ресурсов в сторону более крупных моделей, а encoder-free модели могут догнать по производительности на высоких уровнях вычислений. Также показано, что языковые модели адаптируются, чтобы взять на себя роль визуальной обработки при увеличении вычислительных ресурсов.