Метод определения полезности токена для на-policy дистилляции (OPD) основан на снижении потери при равном локальном бюджете KL-дивергенции. Полезность вычисляется как $s_t=g_t^\top F_t^\dagger g_t$, где $g_t$ — градиент логитов, а $F_t$ — категориальная матрица Фишера. Метод назван Fisher Utility Weighting (FUW) и показал улучшение по сравнению с равномерным OPD на нескольких математических задачах.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Метод может быть полезен для оптимизации процесса дистилляции, повышая эффективность обучения студентов на основе анализа полезности отдельных токенов.
В исследовании представлено тестирование AgentSWE, которое оценивает способность кодирующих агентов создавать агентов, соответствующих требованиям пользователей. Исследование показало, что существующие агенты не могут точно выполнить поставленные задачи, поскольку между демонстрацией и реальным результатом существует значительный разрыв.
6 дней назадDaily PapersВ статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
5 дней назадDaily PapersВ статье представлен TerminalHorizon — автоматическая система синтеза данных для агентов с долгосрочными целями. Создано 1,5 тыс. сред для задач, и модель Qwen3.5-27B была дообучена на этом наборе данных, что привело к улучшению производительности на различных тестах. Модель показала способность к экспериментам, улучшению методов и сохранению эффективных улучшений в итоговых результатах.
6 дней назадDaily PapersUrbex — это агентная визуально-языковая система, которая преобразует задачу позиционирования в активный пространственный поиск. Она представляет городскую 3D-сцену как интерактивную многоугольную среду, позволяя агенту VLM искать достопримечательности, увеличивать локальные регионы и фиксировать ограничивающие коробки. Эксперименты показали, что Urbex достигает наилучших результатов по Hit@1 и IoU на CityRefer.
позавчераDaily PapersКонтекст может улучшить производительность больших языковых моделей, но эти улучшения могут быть утеряны после удаления контекста. Исследователи предложили Cortex, который генерирует перспективные запросы для предвидения использования контекста и дистиллирует контекстно-зависимые выводы в изменяемые обновления низкоразмерных или структурных сетей. Cortex демонстрирует эффективность в консолидации и сохранении производительности.
вчераDaily PapersОпределение, является ли изображение ИИ-сгенерированным, не подтверждает, подкреплены ли факты, изображенные на нем. Мы формулируем оценку достоверности изображения: при наличии изображения и общего инструкции по проверке система возвращает заключение о поддержке или опровержении с обоснованным объяснением. Мы представляем EviLens — экспертно проверенный набор данных из 10 174 изображений, охватывающий двенадцать типов фактических ошибок. Мы разрабатываем EviScene — мультимодальный агент ReAct, который чередует визуальный анализ, внешний поиск и анализ доказательств.
5 дней назад