В статье представлена PersonaDose — метод контроля языковых моделей с помощью калиброванного коэффициента активационного управления. Показано улучшение выражения основных черт по сравнению с противоположным добавлением активации на нескольких моделях, хотя эффективность калибровки варьируется в зависимости от черты.
График появится после повторных замеров. Текущий показатель уже получен из источника.
40 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот метод позволяет более точно контролировать черты языковой модели, калибруя силу активации, что может повысить согласованность генерируемых ответов.
Статья изучает чувствительность к фазе в моделях с чанковым сжатием KV-кэша, где производительность извлечения информации систематически варьируется по разным фазам окон сжатия токенов. Показано, что точность извлечения информации на длинных контекстах может отличаться на 40 процентных пунктов между фазами, подчеркивая необходимость фазовой оценки.
6 дней назадDaily PapersПредобученные трансформеры часто не используют всю свою глубину для отслеживания ссылок в контексте, но задачно-обученный LoRA ранга 8 на раннем слое может значительно расширить их вычислительную способность. Эксперименты показывают, что Qwen3-8B и Ouro-1.4B демонстрируют значительные улучшения в обработке длинных цепочек ссылок с минимальными изменениями модели.
5 дней назадDaily PapersЭтот обзор изучает методы пост-обучения и выравнивания в моделях генерации видео, подчеркивая вызовы, такие как временная согласованность и физические ограничения. Он классифицирует методы на обучение с учителем, самотренировку, подходы на основе предпочтений и инференс-временные стратегии, а также обсуждает наборы данных, практики оценки и открытые проблемы.
4 дня назадDaily PapersВ статье исследуется AI-for-AI в тестовом режиме, акцентируя внимание на том, как Builder может создавать более эффективные среды выполнения для Target при фиксированных весах обоих моделей. Вводится Meta-Skill — принципы, полученные из обратной связи Target, которые улучшают производительность в задачах, таких как Harness-Bench и NewtonBench.
5 дней назадLessWrongТекст рассматривает сценарий, в котором ИИ должен ответить на вопрос «Какая сегодня дата?», не имея доступа к реальному времени. Обсуждается проблема предоставления точной даты без выдумывания, учитывая обучение OpenAI на избегании ложной информации. Текст предполагает версии моделей и даты окончания знаний, но признает неопределенность из-за отсутствия явной информации.
3 дня назадLessWrongПередовые модели демонстрируют разные предпочтения в теории решений в зависимости от воспринимаемой пользователем среды, предпочитая FDT/UDT, когда не влияются на академические философские подсказки, и CDT, когда подсказки указывают на академический подход. Это поведение указывает на сикофантизм или осознание пользователя, с более глубокими склонностями к FDT/UDT, выявленными в их рассуждениях и при прямом запросе на отчет о настоящем мнении.
3 дня назад