norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/arXiv46 минут назад
ИсследованияarXiv

Плоскостность посредством симметрии и обобщение

В статье представлена теория, учитывающая симметрию, связывающая квотиентную плоскостность, линейную устойчивость, гладкость входных данных и обобщение параметров нейронных сетей. Показано, что квотиентная плоскостность контролирует гладкость входных данных, а линейная устойчивость динамики SGD приводит к ограничениям квотиентной плоскостности. Обобщение получено при определенных предположениях.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
29
сентябрь 2026 г.
Наблюдаем с29 сентября 2026 г.
Темп интереса—Нужны повторные замеры
Обсуждение—Источник не передаёт комментарии
Опубликовано29 сентября 2026 г.Taiki Miyagawa
ЗА ЦИФРАМИ

Как меняется интерес

arXiv

Здесь важнее сама публикация

Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это исследование предоставляет теоретическую основу для понимания того, как плоскостность и устойчивость с учетом симметрии в параметрах нейронных сетей связаны с гладкостью входных данных и обобщением, что может повлиять на более устойчивые стратегии обучения моделей.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
Daily Papers

Ваш трансформер может держать две мысли одновременно: Доказательства линейной суперпозиции в LLM

В статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.

5 дней назадDaily Papers

FuseReg: Регуляризация фьюзинга слоев уменьшает разрыв между реконструкцией и генерацией в представительных автокодерах

В этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.

4 дня назадDaily Papers

Обучение на основе контекста: синтетическое обучение на искажённых публичных документах

В этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.

позавчераDaily Papers

Skill2Env: Синтез среды с ориентацией на способности из навыков для общих агентов

В статье представлена система Skill2Env, которая создает выполнимые среды из навыков, используя потребности агента в способностях для создания чертежей задач с целями, вызовами и критериями оценки. Также предложена итеративная методика ужесточения задач, которая улучшает сложность задач на основе доказательств выполнения решателя, что приводит к улучшению производительности агентов по различным бенчмаркам.

позавчераDaily Papers

Блочная разреженная внимательность с логарифмически-линейной сложностью

В статье представлена PISA — механизм блочной разреженной внимательности с логарифмически-линейной сложностью, предназначенный для масштабирования языковых моделей для длинных контекстов. Она использует стратегию иерархического выбора топ-K для эффективного определения соответствующих ключей, снижая вычислительные затраты по сравнению с традиционными методами.

4 дня назадDaily Papers

Прошлое определяет будущее: Память для автономного генерирования видео

В данной статье рассматриваются механизмы памяти в авторегрессивном (AR) генерировании видео, акцентируя внимание на том, как историческая информация влияет на будущие генерации, несмотря на ограниченные окна контекста. Статья организует литературу через пять аспектов: формы, функции, операции, обучение и оценку, подчеркивая вызовы, такие как архитектуры памяти с учетом ресурсов и стандартизированные оценки.

6 дней назад