Исследование показывает, что при сравнении методов параметрической настройки с общим коэффициентом обучения возникает смещение, когда сравниваемые методы имеют разное количество обучаемых параметров. Авторы демонстрируют, что заморозка декодера и лечение только кодировщика не дает реального преимущества при использовании индивидуальных коэффициентов обучения. Метод обеспечивает экономию памяти и является эффективным решением для сжатия кэша KV.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Метод позволяет снизить использование памяти при сжатии кэша KV, что полезно для ресурсоограниченных систем.
В статье представлено Trace2Env — фреймворк без обучения, который использует исторические трассы взаимодействия для создания воспроизводимой книги мира среды для симуляции реалистичных сред без воссоздания исходной системы. Он улучшает точность следующих наблюдений и согласованность взаимодействия на длинных горизонтах по сравнению с традиционными языковыми моделями среды на основе подсказок.
4 дня назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
3 дня назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
позавчераDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
3 дня назадDaily PapersNAMVIS — это диффузионно-свободная система синтеза многоугольных изображений, использующая геометрию, условную следующую масштабную авторегрессию, предсказывающую дискретные визуальные токены через ступени грубого до точного масштаба и параллельное сэмплирование по всем целям. Она превосходит методы на основе диффузии по PSNR, SSIM и LPIPS, при этом работая более чем в три раза быстрее.
6 дней назадDaily PapersРазреженное внимание используется для снижения задержки в генерации длинных последовательностей, но существующие методы могут ухудшать качество генерации при высокой разреженности. MC-Sparse — это обучение без обучения, которое выбирает отдельные ключевые значения и организует похожие запросы в группы для эффективного выполнения на GPU.
4 дня назад