GameHorizon Suite представляет собой единый набор данных и оценки для измерения способностей ИИ в игровой среде на разных временных горизонтах. Включает автоматизированный пайплайн аннотации, крупномасштабный набор данных по AAA-играм с согласованными видео и инструкциями, а также тестовый стенд для офлайн и онлайн-тестирования.
График появится после повторных замеров. Текущий показатель уже получен из источника.
10 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот фреймворк предоставляет стандартизированный способ оценки производительности ИИ в сложных игровых сценариях, поддерживающий как офлайн, так и онлайн-тестирование для комплексной оценки.
В этой статье оценивается способность мультимодельной генеративной модели MiniMax-H3 рассуждать о физическом мире. Исследование представляет новую систему оценки физического рассуждения через четыре измерения, используя задачи, требующие интеграции информации по нескольким модальностям. Модель показывает общую успешность 41,97% по 517 экземплярам оценки, при этом рассуждение на основе видео работает лучше всего, а на основе аудио хуже всего.
6 дней назадDaily PapersIntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.
4 дня назадDaily PapersВ статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.
5 дней назадDaily PapersВ статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.
6 дней назадDaily PapersВ статье выявлено явление под названием Value Flattening в критиках Proximal Policy Optimization (PPO), когда оцененные значения состояний резко меняются, в то время как прогнозы критика остаются плоскими. Предложена методика SP^3O, которая применяет функцию потерь значения только к нескольким состояниям на ответ, демонстрируя улучшения в обучении политики.
6 дней назадDaily PapersВ статье представлена ActionPiece — метод для авторегрессивных моделей визуально-языково-действий, который улучшает токенизацию действий за счет сохранения физических отношений действий с помощью совместного надзора за обучением представлений и квантацией. Используется физическая согласованность рангов (PRC) для оценки того, насколько токенизация сохраняет локальные ранги расстояний после восстановления, и показаны улучшения в успехе политики на нескольких тестах.
6 дней назад