norgitov/ trends
Технологии · люди · идеи
К обзору/LessWrong25 минут назад

Что (и не что) дает избегание архитектур с высокой степенью скрытой последовательности?

В посте рассматриваются последствия избегания архитектур с высокой степенью скрытой последовательности, метрики для измерения скрытой последовательной когнитивной деятельности моделей. Хотя низкая степень скрытой последовательности помогает в контроле над моделями, она не гарантирует прозрачности, так как некоторые вредные действия не требуют глубокого скрытого мышления, и модели могут все еще использовать непонятные способы рассуждения. Современные методы обучения могут привести к созданию «запутанных» процессов рассуждений, которые сложно понять людям.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
11
очков источника
Наблюдаем с18 сентября 2026 г.11 очков источника
Темп интереса0/hпо замерам за 1,03 h
Опубликовано17 сентября 2026 г.Alek Westover
ЗА ЦИФРАМИ

Как меняется интерес

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

11 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это исследование подчеркивает ограничения использования степени скрытой последовательности как приближения к прозрачности модели, указывая, что даже при низкой степени модели могут развивать непонятные способы рассуждений, которые ставят под угрозу контроль со стороны человека.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема