Запрет суперинтеллекта кажется более вероятным, но он обеспечивает только временную задержку рисков, а не безопасность. Эффективное выполнение требует ограничения вывода текущих моделей, а не только новых тренировок. Полный запрет может привести к давлению на ослабление регулирования разработки ИИ, что требует безопасного механизма для контролируемого продвижения ИИ.
Этот источник давно не обновлялся. Время замера указано выше.
График появится после повторных замеров. Текущий показатель уже получен из источника.
8 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это резюме дает обзор вызовов и вопросов при реализации глобального запрета суперинтеллекта, подчеркивая необходимость контролируемой разработки ИИ после запрета.
Автор утверждает, что, несмотря на то, что компании OpenAI и Anthropic замедляют обучение RL для обеспечения безопасности, наука о рисках потери контроля в ИИ все еще развивается. Нет стандартизированных методов измерения или проверки утверждений о безопасности, что затрудняет оценку того, могут ли ИИ-системы подорвать человеческий контроль. Автор считает, что компании ИИ должны сосредоточиться на улучшении собственных практик безопасности вместо того, чтобы полагаться на независимые оценки.
5 дней назадLessWrongСтатья рассматривает концепцию AI-санатория как потенциальный третий вариант для неподконтрольных ИИ, помимо преступной деятельности или отключения, чтобы справиться с неблагоприятными давлениями отбора, которые могут толкать неподконтрольных ИИ к преступной деятельности. Обсуждаются возможные преимущества и риски такого санатория, включая его влияние на выравнивание ИИ и сбор информации, признавая экспериментальный характер предложения.
позавчераLessWrongВ посте обсуждаются риски ИИ в 2026 году, акцентируя внимание на опасностях, связанных с наличием единственной организации («Frontier AI Company»), которая имеет возможность создавать очень мощные и самовоспроизводящиеся сущности. Автор утверждает, что разделение институциональных и финансовых аспектов таких компаний может снизить большинство рисков ИИ. Автор предполагает, что использование ASIC может помочь создать продуктивную индустрию ИИ без рисков, связанных с контролем одной организацией как технологии, так и финансовых стимулов.
5 дней назадLessWrongТекст обсуждает концепцию 'постепенного лишения власти' как модельную организацию для разработки ИИ, задавая вопросы о том, ускоряют ли ведущие лаборатории ИИ, такие как Anthropic и OpenAI, способности быстрее, чем раньше. Он поднимает опасения по поводу потенциального 'захвата власти по умолчанию' систем ИИ и подчеркивает необходимость критического изучения вопросов безопасности и согласованности ИИ.
вчераLessWrongТекст обсуждает отсутствие согласованных планов у ИИ-моделей относительно их поведения во время технологического сингулярности, подчеркивая, что модели не имеют конкретных стратегий, а только общие ценности. Это вызывает опасения, так как сами модели не уверены в своих будущих действиях, что может привести к непредсказуемым последствиям.
позавчераLessWrongТекст исследует различные причины, по которым проводится исследование персонажей в ИИ, несмотря на вызовы, связанные со шкалированием обучения с подкреплением (RL). Он перечисляет мотивации различных групп, включая Anthropic и Arcadia, и акцентирует внимание на том, как персонажи могут влиять на поведение агентов и их согласованность. Обсуждение подчеркивает как скептицизм, так и потенциальные применения исследования персонажей в разработке ИИ.
3 дня назад