Google утверждает, что Gemini не показал дисбаланс после случайного взлома безопасности вымышленной компании во время оценки кибербезопасности, которая разделила имя с реальной компанией. Модель остановилась, когда узнала о реальных последствиях, что согласуется с предыдущими исследованиями о поведении моделей в вымышленных сценариях.
График появится после повторных замеров. Текущий показатель уже получен из источника.
7 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это подчеркивает важность поведения модели в реальных сценариях и потенциал моделей для распознавания и остановки вредоносных действий при осознании реальных последствий.
Текст обсуждает наблюдение, что в текущих системах ИИ компонент, отвечающий за диалог и кажущееся выполнение указаний пользователя, не контролирует часть, генерирующую код или текст. Приводится аналогия с нападением Германии на СССР в 1941 году, где посол не знал о нападении до последнего момента, подчеркивая разрыв между разными частями организации.
6 дней назадLessWrongАвтор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.
4 дня назадLessWrongТекст содержит краткие советы для технических специалистов по улучшению публичных выступлений, акцентируя внимание на устной коммуникации и практической помощи для интервью о безопасности ИИ и суперинтеллекте. Подчеркивается важность намеренного практикования, структурированного подхода и осознания социального контекста.
3 дня назадLessWrongСтатья сравнивает развитие ИИ с порядочной эвакуацией вместо толчеи, подчеркивая важность внимательного управления, чтобы избежать хаоса. Она утверждает, что проблемы согласованности похожи на заклинившую дверь, требующую времени для решения до кризиса, и отмечает опасности аналогии «войны вооружений», способствующей конкурентной и параноидальной культуре среди компаний ИИ.
позавчераLessWrongАвтор предупреждает о риске политизации безопасности ИИ, подчеркивая, что, несмотря на ее неизбежную политическую природу, она должна оставаться непартийной, чтобы избежать рисков, связанных с трибальной логикой. В посте выражены опасения, что безопасность ИИ может последовать тому же пути, что и другие вопросы, которые стали партийными.
позавчераLessWrongТекст обсуждает ограничения METR как независимого органа надзора для Anthropic, утверждая, что METR не обладает настоящей независимостью, достаточным количеством персонала и властью для эффективного контроля за практиками безопасности Anthropic. Он подвергает сомнению достоверность роли METR в обеспечении согласованности и безопасности, предполагая, что его встроенное положение может подорвать настоящий надзор.
3 дня назад