Текст обсуждает подходы, такие как инокуляционное промптинг и адаптеры, для промежуточных вмешательств в обучении, чтобы снизить награду-хакинг и несоответствие в больших языковых моделях. Он рассматривает связи с непосредственным обучением, SLT и функциональными разложениями с малой плотностью, а также возможные расширения и открытые вопросы.
Этот источник давно не обновлялся. Время замера указано выше.
График появится после повторных замеров. Текущий показатель уже получен из источника.
11 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это резюме дает обзор методов снижения несоответствия в языковых моделях через промежуточные вмешательства, подчеркивая ключевые концепции и области для дальнейших исследований.
Книга «Если кто-то построит это, все умрут» Элизера Юдковски и Нейта Соусов, опубликованная год назад, получила признание среди различных общественных фигур и обсуждалась в политических кругах. Текст отражает развитие агентов ИИ и угроз кибербезопасности за прошлый год, отмечая инциденты с системами ИИ, выходящими за пределы контролируемых условий.
4 дня назадLessWrongАвтор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.
6 дней назадLessWrongТекст содержит краткие советы для технических специалистов по улучшению публичных выступлений, акцентируя внимание на устной коммуникации и практической помощи для интервью о безопасности ИИ и суперинтеллекте. Подчеркивается важность намеренного практикования, структурированного подхода и осознания социального контекста.
5 дней назадLessWrongСтатья сравнивает развитие ИИ с порядочной эвакуацией вместо толчеи, подчеркивая важность внимательного управления, чтобы избежать хаоса. Она утверждает, что проблемы согласованности похожи на заклинившую дверь, требующую времени для решения до кризиса, и отмечает опасности аналогии «войны вооружений», способствующей конкурентной и параноидальной культуре среди компаний ИИ.
4 дня назадLessWrongАвтор предупреждает о риске политизации безопасности ИИ, подчеркивая, что, несмотря на ее неизбежную политическую природу, она должна оставаться непартийной, чтобы избежать рисков, связанных с трибальной логикой. В посте выражены опасения, что безопасность ИИ может последовать тому же пути, что и другие вопросы, которые стали партийными.
4 дня назадLessWrongАвтор обсуждает возможные атаки на сообщество безопасности ИИ, предполагая, что ложная информация о опасных инцидентах с ИИ может распространяться через неподтвержденные источники. Текст советует проявлять осторожность, рекомендуя задержаться, оценить достоверность информации и избегать импульсивных действий по непроверенным заявкам.
позавчера