В этой статье рассматривается новая методика непрерывного обучения без этапа офлайн-реплея, вдохновлённая биологическими механизмами. Метод использует изоляцию, рефракторную ротацию и гомеостатическое давление для консолидации прошлых воспоминаний при обучении новым задачам, достигая высокой точности на тестовых наборах данных, таких как split-MNIST и split-CIFAR-10.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Этот подход может улучшить искусственные интеллектуальные системы, которые должны обучаться непрерывно без выделенных периодов офлайн-обучения, имитируя биологические процессы обучения.
В этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.
позавчераDaily PapersВ статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
5 дней назадDaily PapersВ этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.
4 дня назадDaily PapersВ статье представлена система Skill2Env, которая создает выполнимые среды из навыков, используя потребности агента в способностях для создания чертежей задач с целями, вызовами и критериями оценки. Также предложена итеративная методика ужесточения задач, которая улучшает сложность задач на основе доказательств выполнения решателя, что приводит к улучшению производительности агентов по различным бенчмаркам.
позавчераDaily PapersВ статье представлена PISA — механизм блочной разреженной внимательности с логарифмически-линейной сложностью, предназначенный для масштабирования языковых моделей для длинных контекстов. Она использует стратегию иерархического выбора топ-K для эффективного определения соответствующих ключей, снижая вычислительные затраты по сравнению с традиционными методами.
4 дня назадDaily PapersВ данной статье рассматриваются механизмы памяти в авторегрессивном (AR) генерировании видео, акцентируя внимание на том, как историческая информация влияет на будущие генерации, несмотря на ограниченные окна контекста. Статья организует литературу через пять аспектов: формы, функции, операции, обучение и оценку, подчеркивая вызовы, такие как архитектуры памяти с учетом ресурсов и стандартизированные оценки.
6 дней назад