Статья представляет гипотетический годовой сценарий развития исследований с ростом автономных ИИ-исследователей. Описываются изменения в использовании ИИ, начиная с проверки грамматики и заканчивая предложением следующих шагов в экспериментах. Упоминается увеличение количества публикаций и введение новых правил на arXiv.
График появится после повторных замеров. Текущий показатель уже получен из источника.
10 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может быть полезно для обсуждения возможных сценариев развития ИИ в научных исследованиях и понимания их последствий.
В посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
вчераLessWrongСтатья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
5 дней назадLessWrongСогласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование индуктивных предубеждений модели, применение обширного обучения с подкреплением, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные методы. Авторы считают, что этот подход содержит серьезные недостатки.
вчераLessWrongАвтор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
5 дней назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
6 дней назадLessWrongАвтор считает, что люди недооценивают ценность создания самых простых и ясных объяснений важных аспектов безопасности искусственного интеллекта. Он приводит примеры существующих объяснений, которые содержат лишние детали, сложные аналогии и внутренний жаргон, и предлагает улучшить их.
вчера