В посте говорится о споре между автором и Гари Маркусом о возможностях ИИ в 2029 году. Автор подчеркивает необходимость регулирования ИИ и решения проблемы выравнивания. Маркус сделал ставку, что к 2029 году ИИ не сможет выполнять пять определенных задач, включая понимание фильмов и книг.
График появится после повторных замеров. Текущий показатель уже получен из источника.
15 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может быть полезно для понимания текущих дебатов о возможностях ИИ и необходимости регулирования.
Статья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
3 дня назадLessWrongАвтор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
4 дня назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
4 дня назадLessWrongСогласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование характера модели, применение обширного RL-давления, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные и ошибки. Эти подходы считаются проблемными из-за быстрого роста возможностей и нестабильности методов выравнивания.
12 часов назадLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
8 часов назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
5 дней назад