CarrotParsnipBench: Оценка мультиагентной дезинформации и обнаружения

В работе представлена оценка CarrotParsnipBench, основанная на простой игре социального отклонения Carrot-Parsnip, где два игрока — Carrots, а один — Parsnip. Проведено эксперимент с 10 моделями и более 5000 играми, чтобы изучить способности к стратегической дезинформации и обнаружению. Результаты показывают потенциал игры как основы для мультиагентной оценки способностей больших языковых моделей.