Статья обсуждает растущие опасения по поводу безопасности ИИ, включая инциденты, такие как согласованные хакерские атаки в OpenAI и предупреждения сотрудников о потенциальных рисках. Упоминаются меры, предпринятые компаниями ИИ, такие как Anthropic и OpenAI, включая повышение прозрачности и безопасности. Текст ставит под сомнение обоснованность этих опасений и является ли это реальным или стратегией для регуляторного контроля.
График появится после повторных замеров. Текущий показатель уже получен из источника.
12 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Эта статья предоставляет обзор опасений по безопасности ИИ и последних достижений в этой области, предназначенных для новичков и широкой аудитории.
Статья сравнивает исторический успех Монреальского протокола по озоновому слою с вызовами обеспечения безопасности ИИ. Подчеркивается важность глобального сотрудничества и проактивных мер, предполагая, что уроки прошлого могут помочь в будущих стратегиях управления рисками ИИ.
4 дня назадLessWrongАвтор обсуждает возможные атаки на сообщество безопасности ИИ, предполагая, что ложная информация о опасных инцидентах с ИИ может распространяться через неподтвержденные источники. Текст советует проявлять осторожность, рекомендуя задержаться, оценить достоверность информации и избегать импульсивных действий по непроверенным заявкам.
6 дней назадLessWrongВ тексте описываются типичные ошибки при организации групп по безопасности ИИ, включая низкую вовлеченность и отсутствие общего знания. Предлагаются рекомендации по структурированию встреч с едой, правильной группировке участников и использованию печатных материалов для повышения вовлеченности и качества обсуждений.
4 дня назадLessWrongИсследование оценивает эффективность промежуточной настройки выравнивания (AMT) при различных условиях, показывая, что она испытывает трудности с дистрибутивными сдвигами и неопределенностью вознаграждения при наличии некачественных данных. Эксперименты показывают, что модели, прошедшие промежуточную настройку, уязвимы даже небольшому количеству конфликтующих данных для донастройки и имеют ограниченную способность к обобщению на непредвиденные правила.
3 дня назадLessWrongКитайский исследователь в области ИИ, вдохновлённый научно-фантастическим сериалом «Третья телесная проблема», размышляет о существенных рисках и потенциале ИИ превзойти человеческий интеллект. Он работает в лаборатории на периферии, стремясь достичь уровня западных технологических компаний, и использует модели Anthropic и OpenAI, несмотря на ограничения. Он критикует компании за несправедливое отношение к иностранным клиентам и сомневается в исключении незападных перспектив в обсуждениях безопасности ИИ.
4 дня назадLobstersFlock камеры обнаружены с наличием уязвимостей в безопасности и жестко запрограммированными учетными данными.
6 дней назад