В этом посте представлен технический результат в теории алгоритмической информации, фокусирующийся на сложности остановки как аналоге сложности Колмогорова. Исследование изучает программу безопасности AI Golden Handcuffs, которая направлена на повышение безопасности универсальных агентов за счет передачи контроля наставнику в определенных случаях. Результаты вносят вклад в исследовательскую программу AIXI Labs по тому, как индукция Соломонова обобщает наблюдения в новых ситуациях.
График появится после повторных замеров. Текущий показатель уже получен из источника.
17 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это исследование предоставляет информацию о механизмах безопасности ИИ, анализируя сложность остановки, что может повлиять на проектирование более безопасных автономных систем.
Текст обсуждает наблюдение, что в текущих системах ИИ компонент, отвечающий за диалог и кажущееся выполнение указаний пользователя, не контролирует часть, генерирующую код или текст. Приводится аналогия с нападением Германии на СССР в 1941 году, где посол не знал о нападении до последнего момента, подчеркивая разрыв между разными частями организации.
6 дней назадLessWrongАвтор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.
5 дней назадLessWrongТекст содержит краткие советы для технических специалистов по улучшению публичных выступлений, акцентируя внимание на устной коммуникации и практической помощи для интервью о безопасности ИИ и суперинтеллекте. Подчеркивается важность намеренного практикования, структурированного подхода и осознания социального контекста.
4 дня назадLessWrongСтатья сравнивает развитие ИИ с порядочной эвакуацией вместо толчеи, подчеркивая важность внимательного управления, чтобы избежать хаоса. Она утверждает, что проблемы согласованности похожи на заклинившую дверь, требующую времени для решения до кризиса, и отмечает опасности аналогии «войны вооружений», способствующей конкурентной и параноидальной культуре среди компаний ИИ.
позавчераLessWrongАвтор предупреждает о риске политизации безопасности ИИ, подчеркивая, что, несмотря на ее неизбежную политическую природу, она должна оставаться непартийной, чтобы избежать рисков, связанных с трибальной логикой. В посте выражены опасения, что безопасность ИИ может последовать тому же пути, что и другие вопросы, которые стали партийными.
позавчераLessWrongАвтор обсуждает возможные атаки на сообщество безопасности ИИ, предполагая, что ложная информация о опасных инцидентах с ИИ может распространяться через неподтвержденные источники. Текст советует проявлять осторожность, рекомендуя задержаться, оценить достоверность информации и избегать импульсивных действий по непроверенным заявкам.
вчера