SAGE — система, которая переводит критерии грантов в структурированные оценки и связывает суждения с доказательствами из заявлений, была протестирована на 35 заявках от некоммерческих организаций. В облегченном раунде оценки она показала более высокое согласие с человеческими оценками по сравнению с базовым подходом.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
SAGE может помочь оценщикам грантов, предлагая структурированные оценки, основанные на доказательствах, которые легче проверять и корректировать.
В этой статье оценивается способность мультимодельной генеративной модели MiniMax-H3 рассуждать о физическом мире. Исследование представляет новую систему оценки физического рассуждения через четыре измерения, используя задачи, требующие интеграции информации по нескольким модальностям. Модель показывает общую успешность 41,97% по 517 экземплярам оценки, при этом рассуждение на основе видео работает лучше всего, а на основе аудио хуже всего.
5 дней назадDaily PapersLimiX-2 - новая модель из семейства LimiX, использующая парадигму Contextual Mechanism Networks (CMNs), предобученная с использованием Context-Conditional Masked Modeling (CCMM). Она фокусируется на изучении совместных представлений процессов генерации данных, а не на предсказании целевых переменных, демонстрируя превосходные результаты на табличных данных и способствуя осознанию причинности.
6 дней назадDaily PapersВ этой статье представлено Fuse — многопользовательская симуляционная платформа для оценки социального рассуждения в LLM-ассистентах. Платформа использует целевой агент с скрытой мотивацией, взаимодействующий с другими агентами, включая агент пользователя, чтобы создать проверяемую ground truth для задач социального рассуждения. Исследование применяет Fuse к 12 LLM и выявляет ключевые факторы, влияющие на производительность социального рассуждения.
6 дней назадDaily PapersВ статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.
4 дня назадDaily PapersВ статье представлена XConf — метод оценки уверенности в языковых моделях, основанный на накопленном опыте модели. XConf использует прошлые эпизоды, включая задания, рефлексию, уровни уверенности, результаты и уроки, чтобы информировать текущие оценки уверенности через процесс запоминания и рефлексии. Она превосходит существующие методы по дискриминации и калибровке с меньшими вычислительными затратами.
6 дней назадDaily PapersВ статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.
5 дней назад