В исследовании предлагается метод Δ-MOPD для многопреподавательского дистиллирования, который передает сдвиги логитов учителя относительно его базовой модели, перенесенные на начальную инициализацию ученика. Эксперименты показали, что этот подход превосходит традиционные методы в некоторых сценариях.
График появится после повторных замеров. Текущий показатель уже получен из источника.
5 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Метод может быть полезен для улучшения передачи знаний от нескольких учителей к ученику, особенно при комбинировании сигналов учителей.
В статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
позавчераDaily PapersСтатья изучает на-policy distillation (OPD) в постобучении языковых моделей, объясняя, как это может привести как к улучшению производительности, так и к коллапсу генерации. Она предполагает, что OPD усиливает поведение студентов, любимое неявной обратной связью учителя, и предлагает методы, такие как маскировка нездоровых ответов и инициализация SFT, для смягчения коллапса.
6 дней назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
позавчераDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
вчераDaily PapersВ статье представлено WING, фреймворк, который переносит знания об взаимодействии из видео с человеческой перспективы на роботизированные политики, разделяя движение наблюдателя на взаимодействие рук и объектов и используя спектральный анализ для выявления общих временных структур между поведением человека и робота. Он показывает высокие показатели успешности на нескольких бенчмарках и демонстрирует сильные результаты в реальных задачах.
6 дней назадDaily PapersВ статье представлена NAVA-WAM, метод предварительной настройки политик действий непосредственно из видеозаписей без использования аннотированных данных о действиях. Метод включает два этапа: предварительную настройку на видео с визуальным контролем переходов и последующую настройку с использованием демонстраций с аннотациями действий для улучшения управления роботом.
6 дней назад