Обобщение — это стабильность, а не точность: многоосевая оценка LLM

В статье представлена новая методика оценки обобщения больших языковых моделей (LLM), основанная на стабильности при различных вариациях входных данных, а не на общих показателях точности. Был представлен фреймворк Stability-Aware Generalization Objective (SAGO), измеряющий, как меняется поведение модели при различных форматах входных данных и тестах, выявляя несогласованность в производительности моделей.