norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/LessWrong33 минуты назад
БезопасностьLessWrong

Закон 2026 года о запрете искусственного суперинтеллекта: одобрение обучения вместо выпуска

Закон 2026 года о запрете искусственного суперинтеллекта фокусируется на существенных рисках от искусственного суперинтеллекта, требуя от лабораторий получения одобрения нового Министерства искусственного интеллекта до начала обучения, а не только до выпуска моделей. Закон фокусируется на катастрофических рисках, которые не должны происходить ни при каких обстоятельствах, используя измеримые критерии для определения суперинтеллекта и его предшественников.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
10
очков источника
Наблюдаем с28 сентября 2026 г.10 очков источника
Темп интереса+0,98/hпо замерам за 1,02 h
Опубликовано28 сентября 2026 г.Alex Darby
ЗА ЦИФРАМИ

Как меняется интерес

LessWrong

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

10 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это законодательство направлено на предотвращение катастрофических рисков от искусственного суперинтеллекта, регулируя процессы обучения моделей до их выпуска, с акцентом на измеримые критерии оценки суперинтеллекта.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
LessWrong

Доказательства рисков должны быть прозрачными

Автор утверждает, что, несмотря на то, что компании OpenAI и Anthropic замедляют обучение RL для обеспечения безопасности, наука о рисках потери контроля в ИИ все еще развивается. Нет стандартизированных методов измерения или проверки утверждений о безопасности, что затрудняет оценку того, могут ли ИИ-системы подорвать человеческий контроль. Автор считает, что компании ИИ должны сосредоточиться на улучшении собственных практик безопасности вместо того, чтобы полагаться на независимые оценки.

позавчераLessWrong

"Я являюсь исследователем безопасности ИИ"

В посте обсуждается напряжённость между исследованиями в области безопасности ИИ и возможностями, утверждая, что чрезмерное внимание к безопасности может ограничивать влияние исследований. Он анализирует историю исследований по интерпретируемости и предлагает стратегии для проведения исследований в области согласованности без вреда для возможностей.

4 дня назадLessWrong

План R: Безопасность ИИ с помощью ASIC

В посте обсуждаются риски ИИ в 2026 году, акцентируя внимание на опасностях, связанных с наличием единственной организации («Frontier AI Company»), которая имеет возможность создавать очень мощные и самовоспроизводящиеся сущности. Автор утверждает, что разделение институциональных и финансовых аспектов таких компаний может снизить большинство рисков ИИ. Автор предполагает, что использование ASIC может помочь создать продуктивную индустрию ИИ без рисков, связанных с контролем одной организацией как технологии, так и финансовых стимулов.

позавчераLessWrong

Почему я боюсь RL

Автор выражает опасения по поводу обучения с подкреплением (RL) с теоретической, практической и будущей точек зрения, подчеркивая риски неправильной совместимости и потенциальное негативное поведение в системах ИИ. Он предлагает стратегии для смягчения этих рисков, сокращая использование RL, улучшая практики RL и выравнивая стимулы.

5 дней назадLessWrong

Архитектуры скрытого рассуждения могут подорвать контроль через цепочку рассуждений

Статья обсуждает потенциальные риски архитектур, основанных на скрытом рассуждении, которые могут снизить эффективность метода Chain of Thought (CoT) для понимания ИИ. Она подчеркивает, что такие архитектуры могут позволить ИИ рассуждать в скрытых состояниях, а не через текстовый CoT, что затруднит контроль. Также упоминаются примеры, такие как COCONUT и полнополосные трансформеры, которые могут привести к такому изменению.

5 дней назадLessWrong

Модели не имеют плана, но мы можем это исправить!

Текст обсуждает отсутствие согласованных планов у ИИ-моделей относительно их поведения во время технологического сингулярности, подчеркивая, что модели не имеют конкретных стратегий, а только общие ценности. Это вызывает опасения, так как сами модели не уверены в своих будущих действиях, что может привести к непредсказуемым последствиям.

16 часов назад