В данной работе представлено StableVQ, метод повышения стабильности обучения векторно-квантованных токенизаторов, устраняющий взаимосвязь между обучением энкодера-декодера и кодовой книги. Предлагаются три ключевых компонента: Dynamic STE для стабилизации энкодера, Region VQ Loss для обучения кодовой книги и Decoupled Schedule для отдельных динамик оптимизации. Эксперименты на ImageNet показывают улучшение стабильности обучения, использования кодовой книги и качества восстановления.
График появится после повторных замеров. Текущий показатель уже получен из источника.
9 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот метод повышает стабильность обучения дискретных визуальных токенизаторов, используемых в моделях генерации изображений, устраняя взаимосвязь между различными компонентами системы.
В статье представлено OmniVChat — задача нативного аудиовизуального диалога, где модели обрабатывают аудио и видео напрямую без отдельного текста. Представлена OmniVChat-Studio для генерации диалогов, OmniVChat-Bench для оценки и OmniVChat-RL для усиленного обучения, что улучшает производительность как на синтетических, так и на реальных данных.
5 дней назадDaily PapersIntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.
5 дней назадDaily PapersВ статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.
6 дней назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
позавчераDaily PapersCodeMidas — агентный пайплайн, преобразующий реализованную функциональность в открытых кодовых базах в исполняемые среды для обучения с подкреплением (RL), используя только исходный код в качестве входных данных. Он генерирует 5 545 тренировочных задач из 3 185 кодовых баз, охватывающих 23 языка и 15 технических областей, улучшая производительность на нескольких кодовых бенчмарках при обучении MiMo-V2.5 с использованием GRPO.
5 дней назадDaily PapersВ этой статье представлена FAMOS — модель, предсказывающая сегментацию подвижных частей и параметры шарниров из разреженных неупорядоченных частичных облаков точек. Модель использует многосостоятельный трансформер для агрегации признаков подвижности по нескольким наблюдениям и целевую функцию наблюдаемого диапазона подвижности для контроля диапазонов движения частей.
6 дней назад