norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/LessWrong26 минут назад
БезопасностьLessWrong

«Инженерия выравнивания» против «Науки о несоответствии»

Текст обсуждает дебаты между «Инженерией выравнивания» и «Наукой о несоответствии» в исследовании выравнивания ИИ, подчеркивая опасения, что текущие методы выравнивания могут неумышленно ускорять развитие возможностей, увеличивая риски быстрого технологического роста. Он ставит под сомнение альтернативные издержки фокуса на инженерии выравнивания и предлагает переход к «Науке о несоответствии» как более устойчивому подходу.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
73
очков источника
Наблюдаем с5 октября 2026 г.73 очков источника
Темп интереса+23,61/hпо замерам за 1,02 h
Опубликовано5 октября 2026 г.Edward James Young
ЗА ЦИФРАМИ

Как меняется интерес

LessWrong

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

73 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Этот текст анализирует текущие подходы к исследованию выравнивания и их потенциальные риски, предлагая переход к более устойчивому методу. Он важен для исследователей и лиц, принимающих решения в области безопасности ИИ.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
LessWrong

О социальной реальности в Китае

Текст обсуждает культурные различия между Китаем и Западом, акцентируя внимание на социальных сетях и стилях общения. Он подчеркивает, что китайские социальные сети воспринимаются западными стандартами как излишне насыщенные и неавторитетные, и как эти различия могут создавать препятствия для усилий по повышению осведомленности о безопасности ИИ в Китае.

3 дня назадLessWrong

Следует ли неподконтрольным ИИ иметь третий вариант, кроме преступности и отключения? Случай с AI-санаторием

Статья рассматривает концепцию AI-санатория как потенциальный третий вариант для неподконтрольных ИИ, помимо преступной деятельности или отключения, чтобы справиться с неблагоприятными давлениями отбора, которые могут толкать неподконтрольных ИИ к преступной деятельности. Обсуждаются возможные преимущества и риски такого санатория, включая его влияние на выравнивание ИИ и сбор информации, признавая экспериментальный характер предложения.

6 дней назадLessWrong

Лучшая модель организма постепенного лишения власти: лаборатории переднего края ИИ

Текст обсуждает концепцию 'поэтапного лишения власти' в разработке ИИ, задавая вопросы о том, ускоряют ли ведущие лаборатории ИИ, такие как Anthropic и OpenAI, способности больше, чем раньше, и сосредоточены ли они на рекурсивном самосовершенствовании. Поднимаются опасения относительно потенциального 'захвата по умолчанию' ИИ и проблемах согласования ИИ с человеческими целями.

5 дней назадLessWrong

Как подавать заявки на стажировки по безопасности ИИ и работу

В тексте рассматриваются процессы подачи заявок на стажировки в области безопасности ИИ и работы, подчеркивая важность четкого сообщения навыков. Он отмечает сложности приложений, которые часто шумны, и необходимость избегать чрезмерной адаптации к процессу, чтобы продемонстрировать реальные способности.

позавчераLessWrong

Исследования возможностей и граница Парето безопасности и полезности

Статья обсуждает трудности определения исследований безопасности в ИИ, отмечая, что исследования возможностей также могут способствовать безопасности, расширяя границу Парето между безопасностью и полезностью. Подчеркивается, что улучшение безопасности без ухудшения полезности — это ключевая цель, но некоторые исследования могут непреднамеренно побуждать разработчиков выбирать возможности вместо безопасности. Текст рассматривает сценарии, в которых исследования возможностей могут улучшить безопасность при определенных политических условиях, но подчеркивает сложность различения исследований безопасности и возможностей.

позавчераLessWrong

Премии за существующие работы по корректируемости

Фонд исследований по корректируемости стремится вознаградить высококачественные исследования в области согласованности ИИ с помощью ретроактивных премий. Фонд уже выделил 27 000 долларов и планирует распределить еще 48 000 долларов, выделив работу около двух десятков исследователей из около дюжины команд. Руководитель фонда подчеркивает, что размеры премий не отражают качество работы и призывает к обратной связи по улучшению процесса финансирования.

4 дня назад