BrickBench — это тестовая выборка для агентного проектирования наборов LEGO на основе текстовых условий, оценивающая способность агентов создавать физически реализуемые композиции, соответствующие семантическим и дизайнерским критериям. Включает среду BrickAgent для проверки проектов.
График появится после повторных замеров. Текущий показатель уже получен из источника.
0 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Полезно для оценки того, насколько хорошо ИИ-агенты могут проектировать наборы LEGO, соответствующие семантическим и физическим требованиям.
В статье представлено Trace2Env — фреймворк без обучения, который использует исторические трассы взаимодействия для создания воспроизводимой книги мира среды для симуляции реалистичных сред без воссоздания исходной системы. Он улучшает точность следующих наблюдений и согласованность взаимодействия на длинных горизонтах по сравнению с традиционными языковыми моделями среды на основе подсказок.
4 дня назадDaily PapersCheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
3 дня назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
позавчераDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
3 дня назадDaily PapersNAMVIS — это диффузионно-свободная система синтеза многоугольных изображений, использующая геометрию, условную следующую масштабную авторегрессию, предсказывающую дискретные визуальные токены через ступени грубого до точного масштаба и параллельное сэмплирование по всем целям. Она превосходит методы на основе диффузии по PSNR, SSIM и LPIPS, при этом работая более чем в три раза быстрее.
6 дней назадDaily PapersРазреженное внимание используется для снижения задержки в генерации длинных последовательностей, но существующие методы могут ухудшать качество генерации при высокой разреженности. MC-Sparse — это обучение без обучения, которое выбирает отдельные ключевые значения и организует похожие запросы в группы для эффективного выполнения на GPU.
4 дня назад