Современные LLM содержат скрытые маленькие GPT

Исследование изучает, содержат ли современные крупные языковые модели (LLM) маленькие внутренние модели GPT2 для улучшения предсказания следующего токена. Эксперимент включал генерацию текста с помощью GPT2, а затем продолжение этого текста с помощью моделей Qwen, чтобы проверить, может ли Qwen предсказывать завершения GPT2.