В статье представлена система KVFetch для временной предвыборки в сжатии KV-кэша, направленная на устранение последовательной потери информации при инференсе LLM. Она позволяет моделям сохранять и извлекать последовательные данные в точности, добавляя временной канал восстановления без увеличения затрат на внимание, что повышает производительность задач, требующих последовательного доступа.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Полезно для задач, требующих точного воспроизведения последовательностей в больших окнах контекста, повышая точность без дополнительных вычислительных затрат.
CheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
позавчераDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
вчераDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
позавчераDaily PapersВ статье представлено WING, фреймворк, который переносит знания об взаимодействии из видео с человеческой перспективы на роботизированные политики, разделяя движение наблюдателя на взаимодействие рук и объектов и используя спектральный анализ для выявления общих временных структур между поведением человека и робота. Он показывает высокие показатели успешности на нескольких бенчмарках и демонстрирует сильные результаты в реальных задачах.
6 дней назадDaily PapersВ статье представлена NAVA-WAM, метод предварительной настройки политик действий непосредственно из видеозаписей без использования аннотированных данных о действиях. Метод включает два этапа: предварительную настройку на видео с визуальным контролем переходов и последующую настройку с использованием демонстраций с аннотациями действий для улучшения управления роботом.
6 дней назадDaily PapersСтатья изучает на-policy distillation (OPD) в постобучении языковых моделей, объясняя, как это может привести как к улучшению производительности, так и к коллапсу генерации. Она предполагает, что OPD усиливает поведение студентов, любимое неявной обратной связью учителя, и предлагает методы, такие как маскировка нездоровых ответов и инициализация SFT, для смягчения коллапса.
6 дней назад