FactorEngram — это подход к факторизованному n-граммам для языковых моделей, использующий коэффициенты, регулируемые разреженностью, над общей словарной системой базисных векторов. Он позволяет контекстно модулировать отдельные компоненты памяти через гейтинг на уровне базиса, улучшая моделирование языка и задачи вниз по потоку на моделях с большим количеством параметров.
График появится после повторных замеров. Текущий показатель уже получен из источника.
1 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Может улучшить моделирование языка и задачи вниз по потоку за счет контекстной модуляции компонентов памяти.
В статье представлена PISA — механизм блочной разреженной внимательности с логарифмически-линейной сложностью, предназначенный для масштабирования языковых моделей для длинных контекстов. Она использует стратегию иерархического выбора топ-K для эффективного определения соответствующих ключей, снижая вычислительные затраты по сравнению с традиционными методами.
4 дня назадDaily PapersВ статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
5 дней назадDaily PapersВ этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.
4 дня назадDaily PapersВ статье представлена GAGAR — фреймворк для распределения кредитов с учетом качества в RL-агентах для кода. Используется динамическая выборка и SFT-обученный агентный оценщик для ранжирования траекторий, проходящих тесты, и корректировки преимуществ для приоритизации более качественных реализаций. Метод был протестирован на промышленных кодовых агентах с большими количествами параметров.
3 дня назадDaily PapersВ этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.
позавчераDaily PapersВ статье представлена система Skill2Env, которая создает выполнимые среды из навыков, используя потребности агента в способностях для создания чертежей задач с целями, вызовами и критериями оценки. Также предложена итеративная методика ужесточения задач, которая улучшает сложность задач на основе доказательств выполнения решателя, что приводит к улучшению производительности агентов по различным бенчмаркам.
позавчера