Сублиминальные подсказки за пределами статической геометрии: причинная глубина и многотокенные помехи

Исследование изучает сублиминальные подсказки в языковых моделях, исследуя, как скрытые черты могут передаваться через выходные данные. Оно изучает связанность токенов и причинно-следственное управление, обнаруживая, что фиксированная схожесть выходных векторов и методы чтения не consistently предсказывают поведение, в то время как AUC для донор-контроля значительно увеличивается. Исследование подчеркивает различные свойства замороженных каналов подсказок, такие как фиксированная геометрия и мультимодальные измерения, которые ограничивают объяснения на уровне токенов, но не определяют механизм передачи черт во время обучения.