Постоянная после-тренировка сталкивается с двумя проблемами: приобретением новых возможностей и сохранением предыдущих знаний. Для решения этой проблемы предлагается метод синтетического самодистиллирования, который обеспечивает высококачественную подсказку для малых моделей без нарушения их исходного распределения. Эксперименты показали, что метод превосходит шесть других подходов.
Этот источник давно не обновлялся. Время замера указано выше.
График появится после повторных замеров. Текущий показатель уже получен из источника.
17 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Метод может быть полезен для разработки малых моделей, требующих низкой задержки и работы на устройстве.
В статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
3 дня назадDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
6 дней назадDaily PapersВ статье представлена система Memento 3, позволяющая агентам с фиксированным LLM непрерывно обучаться явным моделям мира через внешнюю память. Агент поддерживает правило в виде естественного языка в качестве постоянной семантической памяти, которое компилируется в исполняемый код для прогнозирования и планирования. Через цикл наблюдения, рефлексии и проверки агент уточняет свою модель и использует проверенные обновления для руководства взаимодействием. На ARC-AGI-3 агент с одним моделью достигает среднего значения Relative Human Action Efficiency 100,0 и использует 44% действий человека. В случае Atari Pong обученный контроллер выигрывает 21:0 в каждом из трех оцененных эпизодов.
4 дня назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
6 дней назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
5 дней назадDaily PapersВ исследовании рассматривается подход Adversarial Heuristic Learning (AHL), который использует ИИ-агентов для улучшения игровых стратегий при фиксированных весах моделей. Был создан набор данных AAArena, включающий 12 игр и 1920 архивных программ, с оценкой, имитирующей реальные соревнования. Результаты показывают, что агенты могут улучшать свои стратегии, но сталкиваются с трудностями в сложных играх.
4 дня назад