norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/LessWrong55 минут назад
БезопасностьLessWrong

Уроки построения автоматической исследовательской опоры

Статья посвящена разработке автоматической исследовательской опоры, направленной на ускорение исследований и сбор данных по автоматической согласованности исследований (AAR). Хотя опора не значительно повысила продуктивность исследователей, она оказалась полезной для выявления конкретных сбоев в AAR. Авторы планируют дальнейшее изучение более широких сбоев и методов мониторинга и анализа автоматических исследовательских систем.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
13
очков источника
Наблюдаем с2 октября 2026 г.13 очков источника
Темп интереса—Нужны повторные замеры
Опубликовано2 октября 2026 г.Alejandro Aristizabal
ЗА ЦИФРАМИ

Как меняется интерес

LessWrong

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

13 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это исследование предоставляет информацию о ограничениях автоматических опор в повышении производительности исследователей и подчеркивает их полезность в выявлении сбоев в автоматической согласованности исследований.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
LessWrong

Доказательства рисков должны быть прозрачными

Автор утверждает, что, несмотря на то, что компании OpenAI и Anthropic замедляют обучение RL для обеспечения безопасности, наука о рисках потери контроля в ИИ все еще развивается. Нет стандартизированных методов измерения или проверки утверждений о безопасности, что затрудняет оценку того, могут ли ИИ-системы подорвать человеческий контроль. Автор считает, что компании ИИ должны сосредоточиться на улучшении собственных практик безопасности вместо того, чтобы полагаться на независимые оценки.

6 дней назадLessWrong

Следует ли неподконтрольным ИИ иметь третий вариант, кроме преступности и отключения? Случай с AI-санаторием

Статья рассматривает концепцию AI-санатория как потенциальный третий вариант для неподконтрольных ИИ, помимо преступной деятельности или отключения, чтобы справиться с неблагоприятными давлениями отбора, которые могут толкать неподконтрольных ИИ к преступной деятельности. Обсуждаются возможные преимущества и риски такого санатория, включая его влияние на выравнивание ИИ и сбор информации, признавая экспериментальный характер предложения.

3 дня назадLessWrong

План R: Безопасность ИИ с помощью ASIC

В посте обсуждаются риски ИИ в 2026 году, акцентируя внимание на опасностях, связанных с наличием единственной организации («Frontier AI Company»), которая имеет возможность создавать очень мощные и самовоспроизводящиеся сущности. Автор утверждает, что разделение институциональных и финансовых аспектов таких компаний может снизить большинство рисков ИИ. Автор предполагает, что использование ASIC может помочь создать продуктивную индустрию ИИ без рисков, связанных с контролем одной организацией как технологии, так и финансовых стимулов.

6 дней назадLessWrong

Лучшая модель организма постепенного лишения власти: лаборатории переднего края ИИ

Текст обсуждает концепцию 'поэтапного лишения власти' в разработке ИИ, задавая вопросы о том, ускоряют ли ведущие лаборатории ИИ, такие как Anthropic и OpenAI, способности больше, чем раньше, и сосредоточены ли они на рекурсивном самосовершенствовании. Поднимаются опасения относительно потенциального 'захвата по умолчанию' ИИ и проблемах согласования ИИ с человеческими целями.

позавчераLessWrong

О социальной реальности в Китае

Текст обсуждает культурные различия между Китаем и Западом, акцентируя внимание на социальных сетях и стилях общения. Он подчеркивает, что китайские социальные сети воспринимаются западными стандартами как излишне насыщенные и неавторитетные, и как эти различия могут создавать препятствия для усилий по повышению осведомленности о безопасности ИИ в Китае.

15 часов назадLessWrong

Премии за существующие работы по корректируемости

Фонд исследований по корректируемости стремится вознаградить высококачественные исследования в области согласованности ИИ с помощью ретроактивных премий. Фонд уже выделил 27 000 долларов и планирует распределить еще 48 000 долларов, выделив работу около двух десятков исследователей из около дюжины команд. Руководитель фонда подчеркивает, что размеры премий не отражают качество работы и призывает к обратной связи по улучшению процесса финансирования.

вчера