В статье представлена улучшенная версия Kimi Delta Attention под названием Complex KDA (CKDA), которая повышает выразительность за счёт комбинации одного преобразования delta-правила с каналовым гейтом. CKDA сохраняет стабильность и эффективность, достигая возможностей отслеживания состояний, сопоставимых с более сложными моделями, и показывает сильные результаты в задачах моделирования последовательностей.
График появится после повторных замеров. Текущий показатель уже получен из источника.
2 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
CKDA обеспечивает улучшенные возможности моделирования последовательностей при сохранении эффективности, что делает её подходящей для задач, требующих вращательных преобразований в рекуррентных сетях.
В статье выявлено явление под названием Value Flattening в критиках Proximal Policy Optimization (PPO), когда оцененные значения состояний резко меняются, в то время как прогнозы критика остаются плоскими. Предложена методика SP^3O, которая применяет функцию потерь значения только к нескольким состояниям на ответ, демонстрируя улучшения в обучении политики.
6 дней назадDaily PapersВ этой статье оценивается способность мультимодельной генеративной модели MiniMax-H3 рассуждать о физическом мире. Исследование представляет новую систему оценки физического рассуждения через четыре измерения, используя задачи, требующие интеграции информации по нескольким модальностям. Модель показывает общую успешность 41,97% по 517 экземплярам оценки, при этом рассуждение на основе видео работает лучше всего, а на основе аудио хуже всего.
6 дней назадDaily PapersIntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.
4 дня назадDaily PapersВ статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.
5 дней назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
вчераDaily PapersВ статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.
6 дней назад