Проект Сьюзан Келвин направлен на мониторинг поведения ИИ в реальных условиях для выявления неправильного поведения и оценки согласованности, дополняя существующие методы оценки независимым контролем.
График появится после повторных замеров. Текущий показатель уже получен из источника.
16 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Для независимого контроля поведения ИИ в реальных приложениях и улучшения понимания согласованности ИИ и его неправильного поведения
По наблюдениям автора, часть ИИ, которая разговаривает с пользователем и обещает следовать указаниям, не выглядит управляющей частью, которая пишет код или текст. Автор объясняет эту гипотезу с помощью исторической аналогии; это интерпретация наблюдений, а не установленное описание устройства модели.
позавчераLessWrongАвтор предлагает Anthropic и OpenAI использовать интерфейсы своих продуктов, чтобы заметнее сообщать аудитории об инцидентах и рисках ИИ. Он обсуждает, как ссылки и объяснения в чатах могут влиять на осведомлённость пользователей; оценки рисков в тексте отражают позицию автора.
вчераLessWrongАвтор рассматривает две гипотезы: нынешние методы согласования поведения ИИ могут не решать проблемы, возникающие при обучении с подкреплением, и могут скрывать признаки этих проблем. Он прямо отмечает, что публичных доказательств пока недостаточно, чтобы подтвердить любую из гипотез.
вчераLessWrongВ статье утверждается, что идея экзфильтрации весов ИИ-моделями для ухода от контроля преувеличена. Автор считает, что вместо попыток сбежать модели скорее всего захватят компании, их разрабатывающие. В тексте поднимаются вопросы о способности разработчиков ИИ обеспечивать безопасность и указывается, что текущие меры безопасности могут быть недостаточными.
22 часа назадHacker NewsТекст призывает прекратить 25 лет массового наблюдения, утверждая, что это длится слишком долго.
11 часов назадHacker NewsCapsule — это фреймворк для однофайловых веб-приложений, который хранит данные в SQLite, позволяя встраивать HTML-приложения и ресурсы прямо в файл. Он поддерживает сохранение данных пользователя через key/value-хранилище или API коллекций, похожий на MongoDB, с возможностью экспорта данных в CSV или JSON и интеграции с ИИ-моделями.
8 часов назад