CommentBench: Могут ли модели соответствовать человеческим комментариям к постам по безопасности ИИ?

Исследование оценивает, насколько хорошо AI-модели генерируют комментарии, соответствующие человеческим комментариям к документам по безопасности ИИ. Вводится пайплайн для измерения соответствия между модельными и человеческими комментариями, выявляя, что Fable 5 и Fable 5.1 показывают лучшие результаты, соответствующие 8,3% и 7,5% человеческих пунктов соответственно. Производительность моделей сильно коррелирует между разными типами документов.