В статье рассматривается вопрос о способности моделей принятия решений, таких как Jev, планировать заранее. Автор представляет методологию оценки способности планирования с использованием метрики Beeline, которая измеряет эффективность поиска решений в различных задачах.
График появится после повторных замеров. Текущий показатель уже получен из источника.
17 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
CheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
6 дней назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
5 дней назадDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
6 дней назадDaily PapersВ статье представлена система Memento 3, позволяющая агентам с фиксированным LLM непрерывно обучаться явным моделям мира через внешнюю память. Агент поддерживает правило в виде естественного языка в качестве постоянной семантической памяти, которое компилируется в исполняемый код для прогнозирования и планирования. Через цикл наблюдения, рефлексии и проверки агент уточняет свою модель и использует проверенные обновления для руководства взаимодействием. На ARC-AGI-3 агент с одним моделью достигает среднего значения Relative Human Action Efficiency 100,0 и использует 44% действий человека. В случае Atari Pong обученный контроллер выигрывает 21:0 в каждом из трех оцененных эпизодов.
4 дня назадDaily PapersВ статье представлена SGF+, метод генерации автономных видео, который разделяет роли очистки от шума и записи контекста, выделяя для каждой отдельные параметры, что улучшает визуальное качество и временную согласованность без дополнительных данных для обучения или более длительных периодов.
5 дней назадDaily PapersOpera — это фреймворк вербального критика, который рассматривает каждую коррекцию как постоянную заметку, следуя за ней до тех пор, пока диагностированная проблема не будет решена. Он использует периодические и событийные триггеры для принятия решений о пересмотрах, диагностирует проблемы с помощью типизированных операторов и аудитирует обратную связь перед ее предоставлением.
4 дня назад