Обучение на основе контекста: синтетическое обучение на искажённых публичных документах

В этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.