В данной статье исследуется, как информация, доступная учителю, улучшает on-policy self-distillation (OPSD) в языковых моделях, сравнивая различные виды рассуждений на новом наборе математических задач. Исследование показывает, что дистилляция без ссылок вносит значительный вклад в улучшение моделей, однако дополнительная польза от привилегированных ссылок ограничена и зависит от состояния обучения студента.
График появится после повторных замеров. Текущий показатель уже получен из источника.
2 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это исследование помогает понять, как включение привилегированной информации влияет на самодистилляцию в языковых моделях, что может направить разработку более эффективных стратегий обучения.
LimiX-2 - новая модель из семейства LimiX, использующая парадигму Contextual Mechanism Networks (CMNs), предобученная с использованием Context-Conditional Masked Modeling (CCMM). Она фокусируется на изучении совместных представлений процессов генерации данных, а не на предсказании целевых переменных, демонстрируя превосходные результаты на табличных данных и способствуя осознанию причинности.
3 дня назадDaily PapersStepAudio 3 Realtime — это модель аудио-языкового фундамента для реального времени, с непрерывным циклом слушания, разговора, мышления и действий. Включает Deep Perception для интерпретации намерений пользователя, Seamless Duplex для синхронизации аудиопотоков и Think-While-Speaking для баланса между рассуждениями и задержкой. Модель показывает высокие результаты на таких тестах, как MMSU и Artificial Analysis Full-Duplex, а также имеет коэффициент успешности задач на τ-Voice.
6 дней назадDaily PapersPhysBrain 1.5 - модель для понимания физических сред, генерации действий и предсказания будущих состояний. Она использует основу визуально-языковых моделей, кодирует языковые ответы и движения как последовательности и предварительно обучается на видео взаимодействия людей. Модель показывает отличные результаты на тестах понимания физических сред.
4 дня назадDaily PapersВ статье представлена XConf — метод оценки уверенности в языковых моделях, основанный на накопленном опыте модели. XConf использует прошлые эпизоды, включая задания, рефлексию, уровни уверенности, результаты и уроки, чтобы информировать текущие оценки уверенности через процесс запоминания и рефлексии. Она превосходит существующие методы по дискриминации и калибровке с меньшими вычислительными затратами.
3 дня назадDaily PapersLynnReal-Omni — это фреймворк генерации мультимодальных видео, объединяющий текст-в-видео, генерацию на основе изображений и структурный контроль в одном модели. Он включает 32-миллиардную общую мультимодальную трансформер-модель диффузии и версию 27B Flash для реального времени, с пайплайном данных и методом оценки для задач генерации видео.
4 дня назадDaily PapersВ статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.
позавчера