Автор утверждает, что, несмотря на то, что компании OpenAI и Anthropic замедляют обучение RL для обеспечения безопасности, наука о рисках потери контроля в ИИ все еще развивается. Нет стандартизированных методов измерения или проверки утверждений о безопасности, что затрудняет оценку того, могут ли ИИ-системы подорвать человеческий контроль. Автор считает, что компании ИИ должны сосредоточиться на улучшении собственных практик безопасности вместо того, чтобы полагаться на независимые оценки.
График появится после повторных замеров. Текущий показатель уже получен из источника.
69 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Суммарный текст подчеркивает необходимость прозрачности в оценке рисков ИИ из-за отсутствия стандартизированных методов проверки утверждений о безопасности и измерения рисков потери контроля.
Статья сравнивает исторический успех Монреальского протокола по озоновому слою с вызовами обеспечения безопасности ИИ. Подчеркивается важность глобального сотрудничества и проактивных мер, предполагая, что уроки прошлого могут помочь в будущих стратегиях управления рисками ИИ.
5 дней назадLessWrongВ тексте описываются типичные ошибки при организации групп по безопасности ИИ, включая низкую вовлеченность и отсутствие общего знания. Предлагаются рекомендации по структурированию встреч с едой, правильной группировке участников и использованию печатных материалов для повышения вовлеченности и качества обсуждений.
6 дней назадLessWrongВ посте обсуждается напряжённость между исследованиями в области безопасности ИИ и возможностями, утверждая, что чрезмерное внимание к безопасности может ограничивать влияние исследований. Он анализирует историю исследований по интерпретируемости и предлагает стратегии для проведения исследований в области согласованности без вреда для возможностей.
позавчераLessWrongИсследование оценивает эффективность промежуточной настройки выравнивания (AMT) при различных условиях, показывая, что она испытывает трудности с дистрибутивными сдвигами и неопределенностью вознаграждения при наличии некачественных данных. Эксперименты показывают, что модели, прошедшие промежуточную настройку, уязвимы даже небольшому количеству конфликтующих данных для донастройки и имеют ограниченную способность к обобщению на непредвиденные правила.
4 дня назадLessWrongКитайский исследователь в области ИИ, вдохновлённый научно-фантастическим сериалом «Третья телесная проблема», размышляет о существенных рисках и потенциале ИИ превзойти человеческий интеллект. Он работает в лаборатории на периферии, стремясь достичь уровня западных технологических компаний, и использует модели Anthropic и OpenAI, несмотря на ограничения. Он критикует компании за несправедливое отношение к иностранным клиентам и сомневается в исключении незападных перспектив в обсуждениях безопасности ИИ.
6 дней назадLessWrongАвтор выражает опасения по поводу обучения с подкреплением (RL) с теоретической, практической и будущей точек зрения, подчеркивая риски неправильной совместимости и потенциальное негативное поведение в системах ИИ. Он предлагает стратегии для смягчения этих рисков, сокращая использование RL, улучшая практики RL и выравнивая стимулы.
позавчера