Статья критически анализирует систему Lean4, подчеркивая, что она не является идеальной формальной машиной сертификатов и имеет серьезные проблемы. Автор упоминает наличие доказательств, которые могут быть приняты как ошибки, и предупреждает о потенциальных рисках, связанных с доверием к сертификатам Lean4.
График появится после повторных замеров. Текущий показатель уже получен из источника.
53 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Важно критически оценивать доверие к формальным системам, особенно если они находятся в стадии разработки и имеют известные проблемы.
Текст обсуждает дебаты между «Инженерией выравнивания» и «Наукой о несоответствии» в исследовании выравнивания ИИ, подчеркивая опасения, что текущие методы выравнивания могут неумышленно ускорять развитие возможностей, увеличивая риски быстрого технологического роста. Он ставит под сомнение альтернативные издержки фокуса на инженерии выравнивания и предлагает переход к «Науке о несоответствии» как более устойчивому подходу.
4 дня назадLessWrongВ статье обсуждается различие между AGI-преданными и ASI-преданными, а также проблемы, связанные с возможным превосходством искусственного интеллекта над человеком. Автор выражает беспокойство по поводу будущего свободы и демократии в условиях быстрого развития технологий.
вчераLessWrongВ тексте рассматриваются процессы подачи заявок на стажировки в области безопасности ИИ и работы, подчеркивая важность четкого сообщения навыков. Он отмечает сложности приложений, которые часто шумны, и необходимость избегать чрезмерной адаптации к процессу, чтобы продемонстрировать реальные способности.
6 дней назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
позавчераLessWrongСтатья обсуждает, демонстрируют ли последние математические результаты OpenAI форму творчества, превышающую методы грубой силы, подчеркивая, что, несмотря на улучшение ИИ в решении сложных задач, они могут все еще не обладать способностью формировать новые концепции и эффективно их применять. Текст поднимает вопросы о природе творчества, задействованного в этих доказательствах, и являются ли они значимым прорывом, похожим на исторические примеры, такие как ход 37 от AlphaGo.
вчераLessWrongСтатья обсуждает трудности определения исследований безопасности в ИИ, отмечая, что исследования возможностей также могут способствовать безопасности, расширяя границу Парето между безопасностью и полезностью. Подчеркивается, что улучшение безопасности без ухудшения полезности — это ключевая цель, но некоторые исследования могут непреднамеренно побуждать разработчиков выбирать возможности вместо безопасности. Текст рассматривает сценарии, в которых исследования возможностей могут улучшить безопасность при определенных политических условиях, но подчеркивает сложность различения исследований безопасности и возможностей.
6 дней назад