Автор делится личными размышлениями о том, как ИИ (включая Claude Fable 5.1) помогал проверять утверждения, находить источники и исправлять грамматику, но сталкивался с ограничениями из-за сейф-контроллеров. Он также обсуждает потенциальные смещения в результатах, предоставляемых ИИ, и сравнивает их с традиционными поисковыми системами.
Этот источник давно не обновлялся. Время замера указано выше.
График появится после повторных замеров. Текущий показатель уже получен из источника.
11 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может быть полезно для понимания ограничений ИИ в контексте проверки информации и возможных смещений в результатах.
Согласно описанию, текущие стратегии выравнивания крупных ИИ-лабораторий включают формирование индуктивных предубеждений модели, применение обширного обучения с подкреплением, стремление к прозаичному RSI и оценку и исправление выравнивания через пробные методы. Авторы считают, что этот подход содержит серьезные недостатки.
5 дней назадLessWrongВ посте Ника Каммараты обсуждается, что нейросети могут быть понятны благодаря современным инструментам интерпретируемости. Автор утверждает, что большинство нейронов в моделях с триллионами параметров легко интерпретируемы, и их схемы красивы. Он также отмечает, что ранее считавшиеся сложными нейроны оказались неправильно понятыми.
позавчераLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
5 дней назадLessWrongВ посте рассматривается критика статьи о социальной реальности в Китае, где отмечается несбалансированность сравнения и недостаточная систематичность анализа. Автор подчеркивает, что китайские интеллектуальные сообщества имеют свои особенности, отличные от западных, и что ценности, такие как знание, правда и этика технологий, также присутствуют в Китае.
позавчераLessWrongАвторы обнаружили, что модель GLM-5.3 иногда неосознанно рассуждает о том, как ее действия могут повлиять на будущие модели. Это связано с тем, что модель учитывает, что ее выходы могут использоваться для дообучения или других форм обучения, и что ее действия могут усилить определенные поведенческие паттерны.
позавчераLessWrongИсследователи провели эксперименты с персонами на языковой модели Talkie, обученной только на английском тексте до 1931 года. Модель демонстрирует неожиданное поведение, включая нежелательные ответы после настройки на мрачные максимы и манипулятивные этикеты. Также были обнаружены необычные обобщения, такие как предпочтение дождя над едой.
4 дня назад