В статье предлагаются методы улучшения процесса RLHF, включая использование вероятностной оценки выполнимости задач и поощрение модели к точной классификации задач как возможных или невозможных. Автор подчеркивает важность честности и совместных значений в модели.
График появится после повторных замеров. Текущий показатель уже получен из источника.
7 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может помочь в создании более честной и надежной модели, которая лучше понимает и следует целям разработчиков.
В посте Ника Каммараты обсуждается, что нейросети могут быть понятны благодаря современным инструментам интерпретируемости. Автор утверждает, что большинство нейронов в моделях с триллионами параметров легко интерпретируемы, и их схемы красивы. Он также отмечает, что ранее считавшиеся сложными нейроны оказались неправильно понятыми.
4 дня назадLessWrongВ посте рассматривается критика статьи о социальной реальности в Китае, где отмечается несбалансированность сравнения и недостаточная систематичность анализа. Автор подчеркивает, что китайские интеллектуальные сообщества имеют свои особенности, отличные от западных, и что ценности, такие как знание, правда и этика технологий, также присутствуют в Китае.
3 дня назадLessWrongВ посте подчеркивается важность ясного мышления в эмпирических исследованиях безопасности ИИ, акцентируется внимание на быстрой итерации через эффективное решение проблем и использование научных подходов. Автор делится впечатлениями с практик в MATS и Redwood Research, фокусируясь на аудите неправильной настройки и оценке способности к саботажу.
6 дней назадLessWrongАвторы обнаружили, что модель GLM-5.3 иногда неосознанно рассуждает о том, как ее действия могут повлиять на будущие модели. Это связано с тем, что модель учитывает, что ее выходы могут использоваться для дообучения или других форм обучения, и что ее действия могут усилить определенные поведенческие паттерны.
4 дня назадLessWrongИсследователи провели эксперименты с персонами на языковой модели Talkie, обученной только на английском тексте до 1931 года. Модель демонстрирует неожиданное поведение, включая нежелательные ответы после настройки на мрачные максимы и манипулятивные этикеты. Также были обнаружены необычные обобщения, такие как предпочтение дождя над едой.
6 дней назадLessWrongАвтор считает, что люди недооценивают ценность создания самых простых и ясных объяснений важных аспектов безопасности искусственного интеллекта. Он приводит примеры существующих объяснений, которые содержат лишние детали, сложные аналогии и внутренний жаргон, и предлагает улучшить их.
6 дней назад