WhatWorkedBench: Тестирование понимания экспериментов в ИИ-агентах

WhatWorkedBench — это тестовый набор для оценки того, насколько хорошо ИИ-агенты понимают влияние экспериментальных изменений. Он измеряет предсказания о изменениях компонентов после ограниченного экспериментирования, используя поверхность ответов, которая предсказывает оценки для различных настроек конфигурации. Тестовый набор включает данные из 36 задач, 30 источников данных и 8 типов рабочих процессов, с 1248 записями конфигурации. Оценка включает 4206 записей числового контроля и 108 эпизодов агента, показывая улучшения в восстановлении эффектов при использовании модели гауссовского процесса (GP).