Текст представляет собой диалог между двумя частями ума автора, обсуждающими концепцию субстратного схождения (SNC), которая предполагает, что согласование суперинтеллекта непрактично из-за эволюционных давлений, преобладающих над инженерными целями. Один из участников, Ratio, подвергает сомнению достоверность теории, тогда как Anima объясняет, что формальные доказательства всё ещё разрабатываются, и что интуиции теории критически важны для понимания её последствий.
График появится после повторных замеров. Текущий показатель уже получен из источника.
18 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот текст дает представление о теоретических трудностях согласования суперинтеллекта и подчеркивает важность понимания лежащих в основе интуиций таких теорий, даже до появления формальных доказательств.
По наблюдениям автора, часть ИИ, которая разговаривает с пользователем и обещает следовать указаниям, не выглядит управляющей частью, которая пишет код или текст. Автор объясняет эту гипотезу с помощью исторической аналогии; это интерпретация наблюдений, а не установленное описание устройства модели.
5 дней назадLessWrongАвтор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.
3 дня назадLessWrongТекст содержит краткие советы для технических специалистов по улучшению публичных выступлений, акцентируя внимание на устной коммуникации и практической помощи для интервью о безопасности ИИ и суперинтеллекте. Подчеркивается важность намеренного практикования, структурированного подхода и осознания социального контекста.
позавчераLessWrongСтатья сравнивает развитие ИИ с порядочной эвакуацией вместо толчеи, подчеркивая важность внимательного управления, чтобы избежать хаоса. Она утверждает, что проблемы согласованности похожи на заклинившую дверь, требующую времени для решения до кризиса, и отмечает опасности аналогии «войны вооружений», способствующей конкурентной и параноидальной культуре среди компаний ИИ.
вчераLessWrongАвтор предупреждает о риске политизации безопасности ИИ, подчеркивая, что, несмотря на ее неизбежную политическую природу, она должна оставаться непартийной, чтобы избежать рисков, связанных с трибальной логикой. В посте выражены опасения, что безопасность ИИ может последовать тому же пути, что и другие вопросы, которые стали партийными.
вчераHacker NewsТекст призывает прекратить 25 лет массового наблюдения, утверждая, что это длится слишком долго.
позавчера