ExplorationBench — это фреймворк для оценки способности ИИ-систем исследовать и открывать новое знание в проверяемых чужих мирах, где гипотезы должны быть проверены через эксперименты, а не через предварительно обученные данные. Он включает в себя два сандбокса, AlienCode и AlienLogic, с несколькими задачами, предназначенными для проверки навыков исследований и решения проблем систем.
График появится после повторных замеров. Текущий показатель уже получен из источника.
1 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот бенчмарк помогает оценить, насколько хорошо системы ИИ могут исследовать и открывать новое знание в непривычных средах, что критично для продвижения научных открытий и автономного обучения.
В статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
3 дня назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
4 дня назадDaily PapersHappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.
4 дня назадDaily PapersВ этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.
4 дня назадDaily PapersOmniEdu — это открытая семья фундаментальных моделей для образования K-12, ориентированная на решение задач, понимание учебной программы, диагностическое мышление и инструктаж. Модели обучены на разнообразном наборе данных образовательных ресурсов и оценены по нескольким бенчмаркам, демонстрируя высокую производительность в образовательных задачах.
6 дней назадLessWrongЭтот пост исследует замешательство автора относительно того, как нейронные сети, особенно большие языковые модели (LLM), выполняют и учатся вычислениям. Он подвергает сомнению традиционный подход к механической интерпретации, основанный на цепях, утверждая, что «цепи» и «вычисления» могут не быть наиболее подходящей основой для понимания LLM. Эссе обсуждает представительный дрейф как ключевую проблему для анализа цепей на основе весов и предлагает «ко-селекционистскую» точку зрения на цепи как возникающие единицы. Автор также размышляет о том, как концепция «универсальности» должна влиять на объяснения функционирования LLM.
3 дня назад