В статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
График появится после повторных замеров. Текущий показатель уже получен из источника.
24 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это исследование может помочь в разработке более эффективных методов генерации текста, используя врожденную линейность трансформеров, позволяя одновременно обрабатывать несколько потоков текста.
В статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
3 дня назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
4 дня назадDaily PapersHappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.
4 дня назадDaily PapersВ этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.
4 дня назадDaily PapersOmniEdu — это открытая семья фундаментальных моделей для образования K-12, ориентированная на решение задач, понимание учебной программы, диагностическое мышление и инструктаж. Модели обучены на разнообразном наборе данных образовательных ресурсов и оценены по нескольким бенчмаркам, демонстрируя высокую производительность в образовательных задачах.
6 дней назадDaily PapersВ статье представлена Spatial-Interactor — фреймворк для обучения визуально-языковых моделей (VLM) моделированию переходов состояний физического мира через взаимодействие. Используется трехуровневая программа и набор данных с имитированными и реальными траекториями взаимодействия для улучшения пространственного рассуждения в динамических средах.
6 дней назад