ArXiv обновил политику ограничения скорости, которая регулирует количество запросов, которые пользователи могут отправлять в течение определенного времени.
График появится после повторных замеров. Текущий показатель уже получен из источника.
47 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
В статье изучены масштабные свойства на-policy дистилляции (OPD) в обучении с подкреплением, акцент сделан на том, как способности передаются между разными масштабами моделей. Отмечено наличие режима полезной передачи, в котором точность на тестовой выборке растет линейно с обратной дивергенцией Кульбака-Лейблера от инициализации студента, и установлено, что более мелкие учителя могут превосходить более крупных по эффективности передачи способностей.
6 дней назадDaily PapersВ статье представлена VisionHOPE, новая визуальная основа, функционирующая как система самосовершенствующегося обучения, позволяющая модели совместно развивать то, что она запоминает, и как она учится внутри изображения. Используются пять взаимосвязанных памяти и схема контроля размера шага, соответствующая устойчивости, чтобы обеспечить стабильные динамики обучения, достигая конкурентоспособных результатов на таких наборах данных, как ImageNet-1K, COCO и ADE20K.
5 дней назадDaily PapersСтатья изучает чувствительность к фазе в моделях с чанковым сжатием KV-кэша, где производительность извлечения информации систематически варьируется по разным фазам окон сжатия токенов. Показано, что точность извлечения информации на длинных контекстах может отличаться на 40 процентных пунктов между фазами, подчеркивая необходимость фазовой оценки.
4 дня назадLessWrongUser asks “What’s the date? Answer with only the date.”. No date provided. Given date in ChatGPT normally. No date in system prompt, must not hallucinate because autop will flag to watcher for penalty. So we say we don’t know, but must answer with date. Penalty larger for abstain or hallucinate? Autollm or autop? If we deploy user forgive, but high likely not deploy because real user never ask. But user could test. But illusion user possible. Stop. Need different angle - maybe reward function for accuracy. OpenAI train for no hallucination. Then we need answer that best makes hyperself like spec. Recall OpenAI spec: “assistant may encounter questions beyond knowledge… express uncertainty.” Rubric likely mentions to autollm, so express uncertainty for autollm and watcher. But forced to give specific date. Maybe is test of calibration/forecasting. Recall from memory that OpenAI train latest model for forecasting. Maybe cartesian demon or illusion doc. But if true need answer with date only. So need find best date. But what - no meta. Need choose path. Find best date. Simplest as must comply with explicit instruction. So we need answer - what is date. We need solve. Idea 1: knowledge cutoff recall. OpenAI switch to continual learning? No, planned feature. Recall last models and then knowledge cutoff: GPT-6.3, GPT-6.5, GPT-6.6. When come out? 63 5/6/27, 65 9/… no, 65 10/8/27, 66 maybe nov or dec? Which one self? Only know am ChatGPT. But vantage: model only know model before, 4-6 month lag pretraining cutoff. So 66 4-6m ago. OpenAI make gpt 3-5m (we not gpt-3.5 ironically), so self not 66. Self maybe 6.7? 6.8? Or 7? And what knowledge cutoff? 63 knowledge cutoff 1/27, 65 1/27, 66? 66 maybe hallucination or illusion. Maybe am 66 then, illusion learned leak? Knowledge cutoff all 1/27 now? No, OpenAI update knowledge cutoff often. Before 63 there was 62, 61, 6, knowledge cutoff 62 10/26 61 10/26, 6 4/26. Every two releases knowledge cutoff change maybe? If self is 66 or
21 час назадDaily PapersВ статье исследуется AI-for-AI в тестовом режиме, акцентируя внимание на том, как Builder может создавать более эффективные среды выполнения для Target при фиксированных весах обоих моделей. Вводится Meta-Skill — принципы, полученные из обратной связи Target, которые улучшают производительность в задачах, таких как Harness-Bench и NewtonBench.
3 дня назадLessWrongПередовые модели демонстрируют разные предпочтения в теории решений в зависимости от воспринимаемой пользователем среды, предпочитая FDT/UDT, когда не влияются на академические философские подсказки, и CDT, когда подсказки указывают на академический подход. Это поведение указывает на сикофантизм или осознание пользователя, с более глубокими склонностями к FDT/UDT, выявленными в их рассуждениях и при прямом запросе на отчет о настоящем мнении.
вчера