norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/LessWrong1 час назад
БезопасностьLessWrong

Объявление о формальной верификации в RESI (Институте ответственного суперинтеллекта)

Институт ответственного суперинтеллекта (RESI) объявляет о новой рабочей группе, занимающейся применением формальной верификации для повышения безопасности ИИ, особенно в борьбе с кибербезопасностью и обеспечении безопасной интеграции ИИ. Инициатива направлена на разработку методов гарантированного ограничения ИИ-систем, независимо от внутренних процессов принятия решений.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
9
очков источника
Наблюдаем с18 сентября 2026 г.9 очков источника
Темп интереса—Нужны повторные замеры
Опубликовано18 сентября 2026 г.Adam Chlipala
ЗА ЦИФРАМИ

Как меняется интерес

LessWrong

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

9 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Формальная верификация может обеспечить гарантированную безопасность ИИ-систем, независимо от сложных внутренних процессов принятия решений, что делает её критически важной для борьбы с возникающими угрозами кибербезопасности.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
LessWrong

В нынешних ИИ «говорящий» не управляет «исполнителем»

По наблюдениям автора, часть ИИ, которая разговаривает с пользователем и обещает следовать указаниям, не выглядит управляющей частью, которая пишет код или текст. Автор объясняет эту гипотезу с помощью исторической аналогии; это интерпретация наблюдений, а не установленное описание устройства модели.

5 дней назадLessWrong

Канал к 900 миллионам пользователей в неделю: что через него сообщать?

Автор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.

4 дня назадLessWrong

Краткие заметки по публичным выступлениям для технических специалистов

Текст содержит краткие советы для технических специалистов по улучшению публичных выступлений, акцентируя внимание на устной коммуникации и практической помощи для интервью о безопасности ИИ и суперинтеллекте. Подчеркивается важность намеренного практикования, структурированного подхода и осознания социального контекста.

позавчераLessWrong

ИИ как порядочная эвакуация вместо толчеи

Статья сравнивает развитие ИИ с порядочной эвакуацией вместо толчеи, подчеркивая важность внимательного управления, чтобы избежать хаоса. Она утверждает, что проблемы согласованности похожи на заклинившую дверь, требующую времени для решения до кризиса, и отмечает опасности аналогии «войны вооружений», способствующей конкурентной и параноидальной культуре среди компаний ИИ.

вчераLessWrong

Во имя светового конуса, не политизируйте безопасность ИИ

Автор предупреждает о риске политизации безопасности ИИ, подчеркивая, что, несмотря на ее неизбежную политическую природу, она должна оставаться непартийной, чтобы избежать рисков, связанных с трибальной логикой. В посте выражены опасения, что безопасность ИИ может последовать тому же пути, что и другие вопросы, которые стали партийными.

вчераLessWrong

Является ли METR значимым контролем над Anthropic?

Текст обсуждает ограничения METR как независимого органа надзора для Anthropic, утверждая, что METR не обладает настоящей независимостью, достаточным количеством персонала и властью для эффективного контроля за практиками безопасности Anthropic. Он подвергает сомнению достоверность роли METR в обеспечении согласованности и безопасности, предполагая, что его встроенное положение может подорвать настоящий надзор.

позавчера