Статья исследует, как высокоразмерные скрытые представления в моделях диффузии могут быть оптимизированы для улучшения генерации изображений. Авторы предлагают использовать x0-предсказание вместо стандартного предсказания скорости, что улучшает производительность, фокусируясь на лежащем в основе сигнальном многообразии и избегая неэффективности, вызванной ортогональными направлениями шума.
График появится после повторных замеров. Текущий показатель уже получен из источника.
2 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот подход может повысить эффективность и качество генерации изображений на основе текста, фокусируясь на основной сигнальной многообразии вместо работы с ортогональными направлениями шума.
IntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.
6 дней назадDaily PapersВ статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
позавчераDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
3 дня назадDaily PapersHappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.
3 дня назадDaily PapersВ этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.
3 дня назадLessWrongЭтот пост исследует замешательство автора относительно того, как нейронные сети, особенно большие языковые модели (LLM), выполняют и учатся вычислениям. Он подвергает сомнению традиционный подход к механической интерпретации, основанный на цепях, утверждая, что «цепи» и «вычисления» могут не быть наиболее подходящей основой для понимания LLM. Эссе обсуждает представительный дрейф как ключевую проблему для анализа цепей на основе весов и предлагает «ко-селекционистскую» точку зрения на цепи как возникающие единицы. Автор также размышляет о том, как концепция «универсальности» должна влиять на объяснения функционирования LLM.
позавчера