Исследование изучает, как Sparse AutoEncoders (SAEs) представляют части речи (PoS) в языковых моделях, выявляя, что различия PoS восстанавливаются из активаций SAE, но не соответствуют прямому отображению на отдельные латенты. Вместо этого они поддерживаются компактными группами разреженных признаков, варьирующихся по тегам и демонстрирующих устойчивость к данным.
График появится после повторных замеров. Текущий показатель уже получен из источника.
6 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может помочь в понимании того, как языковые модели кодируют грамматические структуры, потенциально улучшая интерпретируемость и инженерию признаков.
В статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
3 дня назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
4 дня назадDaily PapersHappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.
4 дня назадDaily PapersВ этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.
4 дня назадDaily PapersOmniEdu — это открытая семья фундаментальных моделей для образования K-12, ориентированная на решение задач, понимание учебной программы, диагностическое мышление и инструктаж. Модели обучены на разнообразном наборе данных образовательных ресурсов и оценены по нескольким бенчмаркам, демонстрируя высокую производительность в образовательных задачах.
6 дней назадDaily PapersВ статье представлена Spatial-Interactor — фреймворк для обучения визуально-языковых моделей (VLM) моделированию переходов состояний физического мира через взаимодействие. Используется трехуровневая программа и набор данных с имитированными и реальными траекториями взаимодействия для улучшения пространственного рассуждения в динамических средах.
6 дней назад