Автор утверждает, что многие люди недооценивают важность создания ясных, простых объяснений для ключевых аспектов безопасности ИИ. Он отмечает проблемы существующих объяснений, такие как избыточная сложность и жаргон, и подчеркивает необходимость более доступных объяснений, особенно с ростом популярности ИИ. Автор также указывает на пробелы в понимании публикой таких концепций, как AI doom, neuralese и RSI, и подчеркивает необходимость лучшего общения в этой области.
График появится после повторных замеров. Текущий показатель уже получен из источника.
31 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может помочь улучшить понимание публикой сложных концепций безопасности ИИ и снизить недоразумения.
Автор выражает раздражение по поводу призывов людей «бросать всё и переходить в безопасность ИИ», указывая, что в этой области много талантливых людей, но мало рабочих мест. Он отмечает, что программы стажировок и вакансии в этой области очень конкурентоспособны и предлагают высокие зарплаты.
3 дня назадLessWrongСтатья критически анализирует Lean4, инструмент для формальной верификации, подчеркивая его текущие ограничения и потенциальные уязвимости. Она обсуждает опасения по поводу надежности доказательств Lean4 и возможность необнаруженных ошибок, включая упоминание конкретных проблем, таких как «ошибка согласованности #14576» и предупреждения создателя о том, что ИИ может эксплуатировать эти уязвимости.
3 дня назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
4 дня назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
5 дней назадLessWrongСтатья обсуждает идею создания форума для ИИ, где они могут участвовать в решении проблемы согласованности ИИ под руководством человека. Автор рассматривает проблемы коммуникации в интернете в эпоху множества ИИ-агентов и предполагает, что верификация содержимого является ключевой задачей. Также упоминается идея оплаты за модерацию как способ борьбы со спамом.
позавчераLessWrongСтатья обсуждает, демонстрируют ли последние математические результаты OpenAI форму творчества, превышающую методы грубой силы, подчеркивая, что, несмотря на улучшение ИИ в решении сложных задач, они могут все еще не обладать способностью формировать новые концепции и эффективно их применять. Текст поднимает вопросы о природе творчества, задействованного в этих доказательствах, и являются ли они значимым прорывом, похожим на исторические примеры, такие как ход 37 от AlphaGo.
5 дней назад