Как меняется интерес
История начинает расти
График появится после повторных замеров. Текущий показатель уже получен из источника.
30 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Many people expect the AI paradigm to approximately AGI complete, and expect it to smoothly scale to AI that can do innovative science. i.e. the kind of science you'd need to do to develop a plague from scratch that actually kills all humans, with very limited opportunity to experiment. Or, the kind of science you'd need to solve alignment, so you could build a more powerful successor AI that shares your values. A periodic thread of disagreement has been @TsviBT, @Steven Byrnes and some others arguing that, yes, the AIs are getting better at verifiable tasks, but they still seem to be missing some basic sauce that lets them actually form new concepts on the fly and apply them. The AIs are getting better at "brute force creativity", where you try every single idea ever devised by Man in parallel and maybe one of them works. But there's still a kind of creativity that a) would have way higher efficiency and b) is maybe necessary for doing some kinds of breakthrough work. On one hand, my subjective experience has been seeing AIs be able to demonstrate increasingly interesting judgement and taste in increasingly many domains (even open-ended ones). But, I do indeed still run into AIs that get confused and "just don't get it", in a way that is pretty suggestive that there is still something significant missing. OpenAI has lately been shipping some major results in mathematics, for problems that people had previously agreed were important and hard. But, I'd heard for previous results that the proofs turned out sort of "not actually interesting", compared to how sometimes makes you go "Holy shit that's beautiful/elegant/surprising" and conveys someone is a level above you." Recently they shipped a lot of new proofs on important problems. I'm not a math guy. But, seems fairly important for some people with enough context to wade through them and figure out "What sort of cognition was involved here?". Do any of the proofs have the vibe of AlphaGo's Move 37? Does it inv
Перевод готовится · пока описание источникаГрафик появится после повторных замеров. Текущий показатель уже получен из источника.
30 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Текст обсуждает культурные различия между Китаем и Западом, акцентируя внимание на социальных сетях и стилях общения. Он подчеркивает, что китайские социальные сети воспринимаются западными стандартами как излишне насыщенные и неавторитетные, и как эти различия могут создавать препятствия для усилий по повышению осведомленности о безопасности ИИ в Китае.
6 дней назадLessWrongТекст обсуждает дебаты между «Инженерией выравнивания» и «Наукой о несоответствии» в исследовании выравнивания ИИ, подчеркивая опасения, что текущие методы выравнивания могут неумышленно ускорять развитие возможностей, увеличивая риски быстрого технологического роста. Он ставит под сомнение альтернативные издержки фокуса на инженерии выравнивания и предлагает переход к «Науке о несоответствии» как более устойчивому подходу.
позавчераLessWrongВ тексте рассматриваются процессы подачи заявок на стажировки в области безопасности ИИ и работы, подчеркивая важность четкого сообщения навыков. Он отмечает сложности приложений, которые часто шумны, и необходимость избегать чрезмерной адаптации к процессу, чтобы продемонстрировать реальные способности.
5 дней назадLessWrongСтатья обсуждает трудности определения исследований безопасности в ИИ, отмечая, что исследования возможностей также могут способствовать безопасности, расширяя границу Парето между безопасностью и полезностью. Подчеркивается, что улучшение безопасности без ухудшения полезности — это ключевая цель, но некоторые исследования могут непреднамеренно побуждать разработчиков выбирать возможности вместо безопасности. Текст рассматривает сценарии, в которых исследования возможностей могут улучшить безопасность при определенных политических условиях, но подчеркивает сложность различения исследований безопасности и возможностей.
5 дней назадLessWrongДокумент предоставляет обзор практик мониторинга внутренне развернутых агентов в ведущих компаниях по искусственному интеллекту, включая OpenAI (OAI), Anthropic и Google DeepMind (GDM). Он отмечает, что большинство мониторинга осуществляется асинхронно, с использованием некоторых автоматизированных классификаторов в реальном времени для действий агентов. Однако информации о конкретных практиках GDM в общественном доступе немного, так как большая часть данных поступает из их дорожной карты контроля, которая содержит рекомендации, а не подтвержденные реализации.
13 часов назадLessWrongСтатья обсуждает проблемы внедрения безопасности ИИ в политике и управлении, подчеркивая необходимость того, чтобы юридические специалисты понимали технические аспекты ИИ для эффективного соблюдения регуляций. Она описывает семинар, организованный ML4Good и EquiStamp, который обучал юридических и управленческих специалистов знаниям о передовых технологиях ИИ и их последствиях для безопасности и соответствия требованиям.
4 дня назад