LifeSearch — это тестовый набор для оценки глубоких исследовательских (DR) агентов на реальных задачах жизни и производительности. Он включает 203 задачи в семи областях, с детальными критериями оценки и человеческими аннотациями для проверки точности, охвата и конкретных критериев, таких как даты и URL.
График появится после повторных замеров. Текущий показатель уже получен из источника.
5 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот тестовый набор помогает оценивать и улучшать способность DR-агентов решать сложные задачи реального мира, выходящие за рамки академических или синтетических сценариев.
В исследовании представлено тестирование AgentSWE, которое оценивает способность кодирующих агентов создавать агентов, соответствующих требованиям пользователей. Исследование показало, что существующие агенты не могут точно выполнить поставленные задачи, поскольку между демонстрацией и реальным результатом существует значительный разрыв.
5 дней назадDaily PapersВ исследовании рассматривается подход Adversarial Heuristic Learning (AHL), который использует ИИ-агентов для улучшения игровых стратегий при фиксированных весах моделей. Был создан набор данных AAArena, включающий 12 игр и 1920 архивных программ, с оценкой, имитирующей реальные соревнования. Результаты показывают, что агенты могут улучшать свои стратегии, но сталкиваются с трудностями в сложных играх.
6 дней назадDaily PapersВ статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
4 дня назадDaily PapersВ статье представлен TerminalHorizon — автоматическая система синтеза данных для агентов с долгосрочными целями. Создано 1,5 тыс. сред для задач, и модель Qwen3.5-27B была дообучена на этом наборе данных, что привело к улучшению производительности на различных тестах. Модель показала способность к экспериментам, улучшению методов и сохранению эффективных улучшений в итоговых результатах.
5 дней назадDaily PapersUrbex — это агентная визуально-языковая система, которая преобразует задачу позиционирования в активный пространственный поиск. Она представляет городскую 3D-сцену как интерактивную многоугольную среду, позволяя агенту VLM искать достопримечательности, увеличивать локальные регионы и фиксировать ограничивающие коробки. Эксперименты показали, что Urbex достигает наилучших результатов по Hit@1 и IoU на CityRefer.
вчераDaily PapersОпределение, является ли изображение ИИ-сгенерированным, не подтверждает, подкреплены ли факты, изображенные на нем. Мы формулируем оценку достоверности изображения: при наличии изображения и общего инструкции по проверке система возвращает заключение о поддержке или опровержении с обоснованным объяснением. Мы представляем EviLens — экспертно проверенный набор данных из 10 174 изображений, охватывающий двенадцать типов фактических ошибок. Мы разрабатываем EviScene — мультимодальный агент ReAct, который чередует визуальный анализ, внешний поиск и анализ доказательств.
4 дня назад