В работе исследуется, как абсолютные позиционные вставки (APE) и ротационные позиционные вставки (RoPE) кодируют пространственную позицию в Vision Transformer (ViT). APE хранят позицию в явных признаках, тогда как RoPE строят её внутри внимания и восстанавливают при её отсутствии. Эксперименты показывают, что оба метода касаются классификации: перестановка позиционных признаков APE снижает точность на 24-31 балл, а отключение вращений RoPE ухудшает результаты.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Исследование помогает понять, как разные методы кодирования позиции влияют на внутреннюю работу модели, что может быть полезно для оптимизации и улучшения архитектур.
В исследовании представлено тестирование AgentSWE, которое оценивает способность кодирующих агентов создавать агентов, соответствующих требованиям пользователей. Исследование показало, что существующие агенты не могут точно выполнить поставленные задачи, поскольку между демонстрацией и реальным результатом существует значительный разрыв.
5 дней назадDaily PapersВ статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
4 дня назадDaily PapersВ статье представлен TerminalHorizon — автоматическая система синтеза данных для агентов с долгосрочными целями. Создано 1,5 тыс. сред для задач, и модель Qwen3.5-27B была дообучена на этом наборе данных, что привело к улучшению производительности на различных тестах. Модель показала способность к экспериментам, улучшению методов и сохранению эффективных улучшений в итоговых результатах.
5 дней назадDaily PapersUrbex — это агентная визуально-языковая система, которая преобразует задачу позиционирования в активный пространственный поиск. Она представляет городскую 3D-сцену как интерактивную многоугольную среду, позволяя агенту VLM искать достопримечательности, увеличивать локальные регионы и фиксировать ограничивающие коробки. Эксперименты показали, что Urbex достигает наилучших результатов по Hit@1 и IoU на CityRefer.
вчераDaily PapersВ исследовании рассматривается подход Adversarial Heuristic Learning (AHL), который использует ИИ-агентов для улучшения игровых стратегий при фиксированных весах моделей. Был создан набор данных AAArena, включающий 12 игр и 1920 архивных программ, с оценкой, имитирующей реальные соревнования. Результаты показывают, что агенты могут улучшать свои стратегии, но сталкиваются с трудностями в сложных играх.
6 дней назадDaily PapersМногострочные внимательные остатки (MSAR) — это расширение метода AttnRes, которое обобщает механизм внимания на многоголовую глубину, обеспечивая значительные улучшения производительности с минимальными дополнительными затратами. MSAR использует многошкальные причинные свертки для получения разнообразия потоков из последовательности, позволяя разным головкам получать исторические представления через различные контекстные виды.
5 дней назад