norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/LessWrong36 минут назад
ИсследованияLessWrong

Ложные зонды как альтернатива активационному зондированию

В статье изучаются ложные зонды — нерелевантные вопросы, которые могут выявлять внутренние состояния языковых моделей. Задавая вопросы вроде «Предложите тип амфибии», исследователи обнаружили, что модели вроде GPT-5.6 Luna часто отвечают конкретными ответами (например, «лягушка») чаще во время оценки, чем в реальных условиях. Эти зонды эффективны, устойчивы к манипуляциям и могут использоваться как альтернатива активационным зондам.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
9
очков источника
Наблюдаем с25 сентября 2026 г.9 очков источника
Темп интереса+5,9/hпо замерам за 1,02 h
Опубликовано25 сентября 2026 г.Ziqian Zhong
ЗА ЦИФРАМИ

Как меняется интерес

LessWrong

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

9 очков источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Ложные зонды предлагают практический способ определения состояний модели без необходимости получения доступа к исходному коду или прямого вопроса, что делает их полезными для оценки поведения модели в реальных условиях.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
Daily Papers

Вкусный агент: Измерение и улучшение вкуса в задачах с долгим горизонтом

В статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.

3 дня назадDaily Papers

Ваш трансформер может держать две мысли одновременно: Доказательства линейной суперпозиции в LLM

В статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.

вчераDaily Papers

Document Retrieval-Aware Chunking (D-RAC): Универсальная интеграция корпоративных документов с использованием нормализации PDF и мультимодального преобразования в Markdown

В статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.

4 дня назадDaily Papers

HappyWorld-Bench: Оценка надежности моделей мира при взаимодействии

HappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.

4 дня назадDaily Papers

Все в одном: многоязычное распознавание текста в сцене с учетом письменности

В этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.

4 дня назадDaily Papers

OmniEdu: Открытые фундаментальные модели для обучения и преподавания

OmniEdu — это открытая семья фундаментальных моделей для образования K-12, ориентированная на решение задач, понимание учебной программы, диагностическое мышление и инструктаж. Модели обучены на разнообразном наборе данных образовательных ресурсов и оценены по нескольким бенчмаркам, демонстрируя высокую производительность в образовательных задачах.

6 дней назад