Вопросы контроля важны: интроспекция, аблация отказа и переключатели в открытых моделях Gemma

Исследование показывает, что интроспекция может быть разделена от путаницы модели, но требует тщательных контрольных мер. Аблация направления отказа может повысить производительность интроспекции, но приводит к значительному ухудшению модели. Внедрение вектора концепции и вставка концепции в промт демонстрирует общие черты переключателей, но не передает доказательства, лежащие в основе этих переключателей.