Трансформеры прекращают думать слишком рано, и небольшой LoRA это исправляет

Предобученные трансформеры часто не используют всю свою глубину для отслеживания ссылок в контексте, но задачно-обученный LoRA ранга 8 на раннем слое может значительно расширить их вычислительную способность. Эксперименты показывают, что Qwen3-8B и Ouro-1.4B демонстрируют значительные улучшения в обработке длинных цепочек ссылок с минимальными изменениями модели.