В посте обсуждаются риски ИИ в 2026 году, акцентируя внимание на опасностях, связанных с наличием единственной организации («Frontier AI Company»), которая имеет возможность создавать очень мощные и самовоспроизводящиеся сущности. Автор утверждает, что разделение институциональных и финансовых аспектов таких компаний может снизить большинство рисков ИИ. Автор предполагает, что использование ASIC может помочь создать продуктивную индустрию ИИ без рисков, связанных с контролем одной организацией как технологии, так и финансовых стимулов.
График появится после повторных замеров. Текущий показатель уже получен из источника.
10 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот подход фокусируется на институциональном разделении и оптимизации оборудования для снижения рисков ИИ без запрета ИИ или ожидания решений.
В тексте описываются типичные ошибки при организации групп по безопасности ИИ, включая низкую вовлеченность и отсутствие общего знания. Предлагаются рекомендации по структурированию встреч с едой, правильной группировке участников и использованию печатных материалов для повышения вовлеченности и качества обсуждений.
6 дней назадLessWrongВ посте обсуждается напряжённость между исследованиями в области безопасности ИИ и возможностями, утверждая, что чрезмерное внимание к безопасности может ограничивать влияние исследований. Он анализирует историю исследований по интерпретируемости и предлагает стратегии для проведения исследований в области согласованности без вреда для возможностей.
позавчераLessWrongСтатья сравнивает исторический успех Монреальского протокола по озоновому слою с вызовами обеспечения безопасности ИИ. Подчеркивается важность глобального сотрудничества и проактивных мер, предполагая, что уроки прошлого могут помочь в будущих стратегиях управления рисками ИИ.
5 дней назадLessWrongИсследование оценивает эффективность промежуточной настройки выравнивания (AMT) при различных условиях, показывая, что она испытывает трудности с дистрибутивными сдвигами и неопределенностью вознаграждения при наличии некачественных данных. Эксперименты показывают, что модели, прошедшие промежуточную настройку, уязвимы даже небольшому количеству конфликтующих данных для донастройки и имеют ограниченную способность к обобщению на непредвиденные правила.
4 дня назадLessWrongКитайский исследователь в области ИИ, вдохновлённый научно-фантастическим сериалом «Третья телесная проблема», размышляет о существенных рисках и потенциале ИИ превзойти человеческий интеллект. Он работает в лаборатории на периферии, стремясь достичь уровня западных технологических компаний, и использует модели Anthropic и OpenAI, несмотря на ограничения. Он критикует компании за несправедливое отношение к иностранным клиентам и сомневается в исключении незападных перспектив в обсуждениях безопасности ИИ.
6 дней назадLessWrongАвтор выражает опасения по поводу обучения с подкреплением (RL) с теоретической, практической и будущей точек зрения, подчеркивая риски неправильной совместимости и потенциальное негативное поведение в системах ИИ. Он предлагает стратегии для смягчения этих рисков, сокращая использование RL, улучшая практики RL и выравнивая стимулы.
позавчера