ColNanoVDR — это фреймворк для документно-свободной дистилляции запросов в мультимодальной визуальной системе поиска документов, использующий оптимальный транспорт с обученными весами для сопоставления эмбеддингов студента и учителя без необходимости использования данных на уровне страниц. Он достигает высокой производительности с гораздо более быстрой обработкой запросов и меньшим использованием данных по сравнению с традиционными методами.
График появится после повторных замеров. Текущий показатель уже получен из источника.
1 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот подход позволяет более быстро и эффективно обрабатывать запросы в системах поиска документов без использования данных на уровне страниц, снижая вычислительные и хранилищные требования.
В статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
5 дней назадDaily PapersВ этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.
4 дня назадDaily PapersВ этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.
позавчераDaily PapersВ статье представлена система Skill2Env, которая создает выполнимые среды из навыков, используя потребности агента в способностях для создания чертежей задач с целями, вызовами и критериями оценки. Также предложена итеративная методика ужесточения задач, которая улучшает сложность задач на основе доказательств выполнения решателя, что приводит к улучшению производительности агентов по различным бенчмаркам.
позавчераDaily PapersВ статье представлена PISA — механизм блочной разреженной внимательности с логарифмически-линейной сложностью, предназначенный для масштабирования языковых моделей для длинных контекстов. Она использует стратегию иерархического выбора топ-K для эффективного определения соответствующих ключей, снижая вычислительные затраты по сравнению с традиционными методами.
4 дня назадDaily PapersВ данной статье рассматриваются механизмы памяти в авторегрессивном (AR) генерировании видео, акцентируя внимание на том, как историческая информация влияет на будущие генерации, несмотря на ограниченные окна контекста. Статья организует литературу через пять аспектов: формы, функции, операции, обучение и оценку, подчеркивая вызовы, такие как архитектуры памяти с учетом ресурсов и стандартизированные оценки.
6 дней назад