Косинусное подобие не является доказательством: измерение уровня шума передачи интерпретируемости при квантовании

Статья обсуждает, как косинусное подобие, масштабно-инвариантная статистика, используемая для измерения передачи интерпретируемости между полной точностью и квантованными моделями, не имеет необходимого контекста для правильной интерпретации. Подчеркивается, что без знания уровня шума, например, меры разделения классов ρ, значения, такие как 0.996, не могут подтверждать сохранение интерпретируемости. Исследование показывает, что при квантовании INT4 направление переменной решения повернулось за пределы шума оценщика, а при INT8 движение не было обнаружено, но это не означает эквивалентность. Авторы предлагают дополнительные рекомендации по отчетности для повышения прозрачности.