RubatoCodec: Бюджетированная адаптивная токенизация речи с потоковой декодировкой

Neural speech codecs предоставляют дискретные токены для генерации речи. RubatoCodec — это переменная частота кодирования речи, основанная на X-Codec-2, с точным бюджетом событий на уровне утверждения и потоковой декодировкой. Механизм адаптивного срабатывания использует изменения в признаках кодека и спектрах волны, чтобы разделить речь на события переменной продолжительности без предиктора границ, обученного на данных. Дискретные коды и явная продолжительность представляют каждое событие, позволяя генератору речи предсказывать и декодировать одно событие за раз.