В статье исследуется улучшение больших языковых моделей (LLM), фокусируясь на разнице между метриками Pass@K и Pass@1, и предлагается GapFT для дообучения моделей на задачах, которые требуют нескольких образцов для решения, но пропускаются при одиночном декоде. Этот метод повышает показатель Pass@1 на определенных наборах данных по сравнению с существующими подходами, используя меньшую долю данных и сохраняя фиксированный бюджет для обучения.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Этот подход может быть полезен для повышения производительности модели на задачах, где требуется несколько попыток для нахождения правильного решения, без увеличения вычислительного бюджета.
В этой статье представлена методика повышения способности больших языковых моделей (LLM) обучаться на основе контекста с использованием искажённых публичных документов. Подход включает переписывание документов, генерацию вопросов с элементами рассуждений и обучение студенческой модели на этих синтетических образцах, что приводит к улучшению производительности на CL-bench и более широкому применению в задачах, таких как понимание длинного контекста и рассуждения.
3 дня назадDaily PapersВ статье представлена VisionHOPE, новая визуальная основа, функционирующая как система самосовершенствующегося обучения, позволяющая модели совместно развивать то, что она запоминает, и как она учится внутри изображения. Используются пять взаимосвязанных памяти и схема контроля размера шага, соответствующая устойчивости, чтобы обеспечить стабильные динамики обучения, достигая конкурентоспособных результатов на таких наборах данных, как ImageNet-1K, COCO и ADE20K.
3 дня назадDaily PapersВ статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
6 дней назадDaily PapersВ этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.
5 дней назадDaily PapersВ статье представлена GAGAR — фреймворк для распределения кредитов с учетом качества в RL-агентах для кода. Используется динамическая выборка и SFT-обученный агентный оценщик для ранжирования траекторий, проходящих тесты, и корректировки преимуществ для приоритизации более качественных реализаций. Метод был протестирован на промышленных кодовых агентах с большими количествами параметров.
4 дня назадDaily PapersВ этой статье представлена SentZero, фреймворк предобучения мультимодальных данных, ориентированный на предложения, предназначенный для нулевого обучения многозадачного анализа рентгеновских снимков грудной клетки. Она повышает разнообразие положительных пар и снижает ложные отрицательные результаты за счет структурирования предложений с использованием крупных языковых моделей и модуляции визуальных вложений.
позавчера