В статье выявлено явление под названием Value Flattening в критиках Proximal Policy Optimization (PPO), когда оцененные значения состояний резко меняются, в то время как прогнозы критика остаются плоскими. Предложена методика SP^3O, которая применяет функцию потерь значения только к нескольким состояниям на ответ, демонстрируя улучшения в обучении политики.
График появится после повторных замеров. Текущий показатель уже получен из источника.
33 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это исследование решает важную проблему в PPO, которая влияет на точность оценки значений, что критически важно для эффективного обучения с подкреплением в больших языковых моделях.
StepAudio 3 Realtime — это модель аудио-языкового фундамента для реального времени, с непрерывным циклом слушания, разговора, мышления и действий. Включает Deep Perception для интерпретации намерений пользователя, Seamless Duplex для синхронизации аудиопотоков и Think-While-Speaking для баланса между рассуждениями и задержкой. Модель показывает высокие результаты на таких тестах, как MMSU и Artificial Analysis Full-Duplex, а также имеет коэффициент успешности задач на τ-Voice.
5 дней назадDaily PapersStepAudio 3 Music — это модель генерации музыки масштаба, использующая явное музыкальное планирование и текстовое управление. Она использует поток-совпадающий диффузионный Трансформер для предсказания аудио-латентов, с дискретно-непрерывной архитектурой и моделью Mixture-of-Experts для генерации структурированной музыки.
6 дней назадDaily PapersPhysBrain 1.5 - модель для понимания физических сред, генерации действий и предсказания будущих состояний. Она использует основу визуально-языковых моделей, кодирует языковые ответы и движения как последовательности и предварительно обучается на видео взаимодействия людей. Модель показывает отличные результаты на тестах понимания физических сред.
3 дня назадDaily PapersLynnReal-Omni — это фреймворк генерации мультимодальных видео, объединяющий текст-в-видео, генерацию на основе изображений и структурный контроль в одном модели. Он включает 32-миллиардную общую мультимодальную трансформер-модель диффузии и версию 27B Flash для реального времени, с пайплайном данных и методом оценки для задач генерации видео.
3 дня назадDaily PapersВ статье представлена XConf — метод оценки уверенности в языковых моделях, основанный на накопленном опыте модели. XConf использует прошлые эпизоды, включая задания, рефлексию, уровни уверенности, результаты и уроки, чтобы информировать текущие оценки уверенности через процесс запоминания и рефлексии. Она превосходит существующие методы по дискриминации и калибровке с меньшими вычислительными затратами.
позавчераDaily PapersZGCM-1 — модель с 7 млрд параметров, разработанная для математики и агентного поиска, с акцентом на эффективность благодаря архитектурному и системному ко-дизайну, прогрессивному учебному курсу и AI-нативному R&D-процессу. Она демонстрирует конкурентоспособные результаты по сравнению с более крупными моделями на задачах математики и поиска, с улучшениями в эффективности обучения и открытым доступом к материалам обучения.
6 дней назад