FDE-Gym — это набор из 95 конечных задач доставки из 20 сценариев клиентов в 18 отраслях, адаптированных экспертами. Агенты взаимодействуют со стейкхолдерами и работают с системами, похожими на производственные, чтобы доставить рабочие решения. Оценка основана на улучшении метрики успеха клиента, нормализованной от 0 до 1.
График появится после повторных замеров. Текущий показатель уже получен из источника.
5 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
FDE-Gym помогает оценить способность агентов решать реальные задачи доставки ИИ, учитывая неявные ограничения и взаимодействие со стейкхолдерами.
В статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
6 дней назадDaily PapersМетод Waypoint-OPD использует промежуточную точку проверки учителя для сравнения ранних и поздних сдвигов в предпочтениях действий при переносе политики. Он оценивает согласованность между ранними и поздними сдвигами и подавляет сдвиг на конечном этапе, если они противоречат друг другу.
вчераDaily PapersВ данной работе представлена новая многодоменная база данных RuleTrek для тестирования способности агентов рассуждать по правилам в сложных сценариях. База данных использует структурированные графы правил и генерирует подсценарии для оценки способности к идентификации, выводу и комплексному рассуждению по правилам.
позавчераDaily PapersUrbex — это агентная визуально-языковая система, которая преобразует задачу позиционирования в активный пространственный поиск. Она представляет городскую 3D-сцену как интерактивную многоугольную среду, позволяя агенту VLM искать достопримечательности, увеличивать локальные регионы и фиксировать ограничивающие коробки. Эксперименты показали, что Urbex достигает наилучших результатов по Hit@1 и IoU на CityRefer.
3 дня назадDaily PapersКонтекст может улучшить производительность больших языковых моделей, но эти улучшения могут быть утеряны после удаления контекста. Исследователи предложили Cortex, который генерирует перспективные запросы для предвидения использования контекста и дистиллирует контекстно-зависимые выводы в изменяемые обновления низкоразмерных или структурных сетей. Cortex демонстрирует эффективность в консолидации и сохранении производительности.
позавчераDaily PapersОпределение, является ли изображение ИИ-сгенерированным, не подтверждает, подкреплены ли факты, изображенные на нем. Мы формулируем оценку достоверности изображения: при наличии изображения и общего инструкции по проверке система возвращает заключение о поддержке или опровержении с обоснованным объяснением. Мы представляем EviLens — экспертно проверенный набор данных из 10 174 изображений, охватывающий двенадцать типов фактических ошибок. Мы разрабатываем EviScene — мультимодальный агент ReAct, который чередует визуальный анализ, внешний поиск и анализ доказательств.
6 дней назад