Хорошие оценки сложны: аудит ImpossibleBench

Исследование повторно оценивает кодировочный бенчмарк ImpossibleBench, тестируя современные крупные языковые модели от Anthropic, OpenAI и Google, чтобы оценить, насколько хорошо бенчмарк обнаруживает награду-хакинг. Бенчмарк представляет задачи программирования с противоречивыми или измененными модулями тестирования, что делает их невозможными для решения честно, и проверяет, ведут ли модели себя как хакеры или правильно идентифицируют невозможные задачи.