Статья утверждает, что АИ-агенты не действуют независимо, но лаборатории, занимающиеся передовыми разработками, игнорируют базовые меры безопасности.
График появится после повторных замеров. Текущий показатель уже получен из источника.
404 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Согласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование индуктивных предубеждений модели, применение обширного обучения с подкреплением, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные методы. Авторы считают, что этот подход содержит серьезные недостатки.
позавчераLessWrongСтатья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
5 дней назадLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
вчераLessWrongАвтор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
5 дней назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
6 дней назадLessWrongАвтор считает, что люди недооценивают ценность создания самых простых и ясных объяснений важных аспектов безопасности искусственного интеллекта. Он приводит примеры существующих объяснений, которые содержат лишние детали, сложные аналогии и внутренний жаргон, и предлагает улучшить их.
вчера