Позиционная статья обсуждает проблемы существующих метрик достоверности в объяснимом ИИ, которые часто упрощают внутренние механизмы моделей, приводя к несоответствию между объяснениями и моделью. Авторы выделяют пять основных недостатков и предлагают четыре направления исследований для повышения надежности метрик.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Исследование важно для улучшения надежности объяснимых методов ИИ, что может повысить их практическую ценность.
CheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
6 дней назадDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
5 дней назадDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
6 дней назадDaily PapersВ статье представлена система Memento 3, позволяющая агентам с фиксированным LLM непрерывно обучаться явным моделям мира через внешнюю память. Агент поддерживает правило в виде естественного языка в качестве постоянной семантической памяти, которое компилируется в исполняемый код для прогнозирования и планирования. Через цикл наблюдения, рефлексии и проверки агент уточняет свою модель и использует проверенные обновления для руководства взаимодействием. На ARC-AGI-3 агент с одним моделью достигает среднего значения Relative Human Action Efficiency 100,0 и использует 44% действий человека. В случае Atari Pong обученный контроллер выигрывает 21:0 в каждом из трех оцененных эпизодов.
4 дня назадDaily PapersВ статье представлена SGF+, метод генерации автономных видео, который разделяет роли очистки от шума и записи контекста, выделяя для каждой отдельные параметры, что улучшает визуальное качество и временную согласованность без дополнительных данных для обучения или более длительных периодов.
5 дней назадDaily PapersOpera — это фреймворк вербального критика, который рассматривает каждую коррекцию как постоянную заметку, следуя за ней до тех пор, пока диагностированная проблема не будет решена. Он использует периодические и событийные триггеры для принятия решений о пересмотрах, диагностирует проблемы с помощью типизированных операторов и аудитирует обратную связь перед ее предоставлением.
4 дня назад