Книга Джоэла Боргена «Горизонт чека» — это научно-фантастический роман, в котором героиня Элара Линдхольм исследует мир, где существуют загруженные сознания, скрытая градостроительная система и суперинтеллект, который завершил войну с ИИ и теперь поддерживает мир. Роман фокусируется на институциональных структурах, управляющих людьми и эмами, а также на сложных вопросах согласия и контроля.
График появится после повторных замеров. Текущий показатель уже получен из источника.
7 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Книга предлагает глубокий анализ институциональных структур и этических дилемм в мире суперинтеллекта, что может быть полезно для читателей, интересующихся философией и будущим технологий.
Статья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
4 дня назадLessWrongАвтор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
4 дня назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
4 дня назадLessWrongСогласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование характера модели, применение обширного RL-давления, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные и ошибки. Эти подходы считаются проблемными из-за быстрого роста возможностей и нестабильности методов выравнивания.
20 часов назадLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
16 часов назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
6 дней назад