В статье представлена Pivot-SD, эффективная схема самодистилляции для маскирующих диффузионных языковых моделей (dLM), которая фокусируется на ключевых решениях во время процесса диффузии. Метод улучшает производительность на тестах по математике и программированию, выбирая ключевые точки на основе уменьшения неопределенности и обучая их с использованием кросс-энтропии или направленной неправдоподобности.
Этот источник давно не обновлялся. Время замера указано выше.
График появится после повторных замеров. Текущий показатель уже получен из источника.
14 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот подход может быть полезен для повышения эффективности обучения маскирующих диффузионных языковых моделей, фокусируясь на самых значимых частях процесса диффузии.
В статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
позавчераDaily PapersВ статье представлена NAVA-WAM, метод предварительной настройки политик действий непосредственно из видеозаписей без использования аннотированных данных о действиях. Метод включает два этапа: предварительную настройку на видео с визуальным контролем переходов и последующую настройку с использованием демонстраций с аннотациями действий для улучшения управления роботом.
6 дней назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
позавчераDaily PapersВ статье представлено WING, фреймворк, который переносит знания об взаимодействии из видео с человеческой перспективы на роботизированные политики, разделяя движение наблюдателя на взаимодействие рук и объектов и используя спектральный анализ для выявления общих временных структур между поведением человека и робота. Он показывает высокие показатели успешности на нескольких бенчмарках и демонстрирует сильные результаты в реальных задачах.
6 дней назадDaily PapersВ статье представлена SGF+, метод генерации автономных видео, который разделяет роли очистки от шума и записи контекста, выделяя для каждой отдельные параметры, что улучшает визуальное качество и временную согласованность без дополнительных данных для обучения или более длительных периодов.
вчераDaily PapersPointWAM — это 3D-модель действий в мире, которая разделяет окружающую среду и роботизированные руки на отдельные компоненты и предсказывает их 3D-траектории в общей системе координат пространства и времени. Она использует масштабные видеозаписи человеческих демонстраций для предварительного обучения и повышает производительность на задачах дexterous manipulation по сравнению с предыдущими методами.
6 дней назад