Рекуррентная LLM очень легко интерпретируема, но очень трудно направляема

Исследование изучает рекуррентную модель языка Ouro-1.4b-thinking, фокусируясь на её интерпретируемости и управляемости. Оно выявляет, что модель в целом интерпретируема с использованием логит-лайенсов и линейных проб, но управление ею затруднено, если вмешательства применяются не в последней итерации. Это вызывает опасения по поводу возможной несоответствия в рекуррентных моделях. Исследование включает эксперименты по программированию и математике, анализируя остаточные потоки на нескольких слоях.