Модели больших языковых моделей (LLM) хорошо справляются с задачами, где есть тесные и понятные обратные связи, называемые «дешевыми циклами». Однако в «дорогих циклах», где оценка награды требует времени и ресурсов, они показывают худшие результаты. Это связано с тем, что для работы в таких условиях необходимы навыки, которые не развиваются в дешевых циклах, такие как выбор прокси-показателей и управление ресурсами.
График появится после повторных замеров. Текущий показатель уже получен из источника.
19 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это важно для понимания ограничений современных моделей и направлений их улучшения.
В статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
3 дня назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
6 дней назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
5 дней назадDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
6 дней назадDaily PapersВ исследовании рассматривается подход Adversarial Heuristic Learning (AHL), который использует ИИ-агентов для улучшения игровых стратегий при фиксированных весах моделей. Был создан набор данных AAArena, включающий 12 игр и 1920 архивных программ, с оценкой, имитирующей реальные соревнования. Результаты показывают, что агенты могут улучшать свои стратегии, но сталкиваются с трудностями в сложных играх.
4 дня назадDaily PapersВ статье представлена система Memento 3, позволяющая агентам с фиксированным LLM непрерывно обучаться явным моделям мира через внешнюю память. Агент поддерживает правило в виде естественного языка в качестве постоянной семантической памяти, которое компилируется в исполняемый код для прогнозирования и планирования. Через цикл наблюдения, рефлексии и проверки агент уточняет свою модель и использует проверенные обновления для руководства взаимодействием. На ARC-AGI-3 агент с одним моделью достигает среднего значения Relative Human Action Efficiency 100,0 и использует 44% действий человека. В случае Atari Pong обученный контроллер выигрывает 21:0 в каждом из трех оцененных эпизодов.
4 дня назад