Одна координата нарушает абляцию в Gemma-3

Исследование изучает проблему абляции, метода выявления направлений отказа в больших языковых моделях, где стандартный подход не сработал для Gemma-3-12b, но работал для похожих моделей. Тестировали исправление, включающее Винсоризацию активаций координат, проблему определили как доминирующую координату по масштабу. Метод был проверен на нескольких размерах моделей и показал обобщаемость. Причина появления такой большой координаты активации в моделях Gemma-3 остается неясной.