Текст обсуждает важность публичных соглашений для предотвращения дефекта в разработке продвинутого суперинтеллекта (ASI), предполагая, что такие соглашения могут снизить риски, сделав предательство неприемлемым и изменив стимулы для участников. Он подчеркивает нестабильность текущих путей разработки ИИ и потенциальную роль будущих систем ASI в обеспечении сотрудничества.
График появится после повторных замеров. Текущий показатель уже получен из источника.
8 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может информировать стратегии совместной разработки ИИ и управления рисками, устанавливая четкие нормы против предательства.
Статья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
4 дня назадLessWrongАвтор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
4 дня назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
4 дня назадLessWrongСогласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование характера модели, применение обширного RL-давления, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные и ошибки. Эти подходы считаются проблемными из-за быстрого роста возможностей и нестабильности методов выравнивания.
17 часов назадLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
13 часов назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
6 дней назад