norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/Daily Papers2 часа назад
ИсследованияDaily Papers

1% Токенов Достаточно: О Оценке Градиентов В On-Policy Дистилляции

Статья изучает разреженную на-policy дистилляцию (OPD), фокусируясь на проблемах оценки градиентов при распределении руководства учителя на небольшое количество токенов. Вводится информационно-эффективное отношение (IER), оценивающее надежность оценки градиентов, и оно комбинируется с существующими оценками полезности для более эффективного выбора токенов, что приводит к улучшению производительности при минимальных объемах токенов.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
2
голосов источника
Наблюдаем с22 сентября 2026 г.2 голосов источника
Темп интереса—Нужны повторные замеры
Опубликовано21 сентября 2026 г.Huanxin Sheng, Zhiling Ye, Haonan Wang
ЗА ЦИФРАМИ

Как меняется интерес

Daily Papers

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

2 голосов источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это исследование предлагает метод эффективного распределения руководства учителя в on-policy дистилляции, учитывая как полезность токенов, так и надежность оценки градиентов, что может быть полезно в сценариях с ограниченными вычислительными ресурсами или ограничениями на данные.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
Daily Papers

Может ли MiniMax-H3 рассуждать о физическом мире? Оценка мультимодельной генеративной модели

В этой статье оценивается способность мультимодельной генеративной модели MiniMax-H3 рассуждать о физическом мире. Исследование представляет новую систему оценки физического рассуждения через четыре измерения, используя задачи, требующие интеграции информации по нескольким модальностям. Модель показывает общую успешность 41,97% по 517 экземплярам оценки, при этом рассуждение на основе видео работает лучше всего, а на основе аудио хуже всего.

6 дней назадDaily Papers

IntBMoE: Интеграция блоковой условной композиции экспертов для полного участия в смеси экспертов

IntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.

4 дня назадDaily Papers

Самоэволюционирующийся поисковый индекс

В статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.

5 дней назадDaily Papers

ScienceIDE: Превращение мирового научного кода в среды, обучаемые агентами

В статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.

6 дней назадDaily Papers

Пересмотр обучения критика в PPO: понимание и смягчение плоскостности значений

В статье выявлено явление под названием Value Flattening в критиках Proximal Policy Optimization (PPO), когда оцененные значения состояний резко меняются, в то время как прогнозы критика остаются плоскими. Предложена методика SP^3O, которая применяет функцию потерь значения только к нескольким состояниям на ответ, демонстрируя улучшения в обучении политики.

6 дней назадDaily Papers

ActionPiece: Пересмотр токенизации действий для авторегрессивных моделей визуально-языково-действий

В статье представлена ActionPiece — метод для авторегрессивных моделей визуально-языково-действий, который улучшает токенизацию действий за счет сохранения физических отношений действий с помощью совместного надзора за обучением представлений и квантацией. Используется физическая согласованность рангов (PRC) для оценки того, насколько токенизация сохраняет локальные ранги расстояний после восстановления, и показаны улучшения в успехе политики на нескольких тестах.

6 дней назад