norgitov/ trends
Технологии · люди · идеи
RSS
RUEN
К обзору/Daily Papers1 час назад
ИсследованияDaily Papers

TokenRouter: Эффективная система обслуживания маршрутизации LLM на уровне токенов

TokenRouter — система для эффективного маршрутизирования инференса больших языковых моделей (LLM) на уровне токенов, обеспечивающая более высокую скорость декодирования по сравнению с существующими системами. Она использует подход программирования с фокусом на запрос и планировщик с отложенным батчингом для повышения производительности.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
5
голосов источника
Наблюдаем с9 октября 2026 г.5 голосов источника
Темп интереса—Нужны повторные замеры
Опубликовано8 октября 2026 г.Tianyu Fu, Tengxuan Liu, Ruoxi Wang
ЗА ЦИФРАМИ

Как меняется интерес

Daily Papers

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

5 голосов источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

TokenRouter повышает эффективность обслуживания инференса LLM на уровне токенов с использованием подхода, ориентированного на запрос, и оптимизированного планирования, что делает его подходящим для приложений, требующих высокой пропускной способности.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема
Daily Papers

От следов к агентным мирам: Агентные языковые модели миров для интерактивного моделирования среды

В статье представлено Trace2Env — фреймворк без обучения, который использует исторические трассы взаимодействия для создания воспроизводимой книги мира среды для симуляции реалистичных сред без воссоздания исходной системы. Он улучшает точность следующих наблюдений и согласованность взаимодействия на длинных горизонтах по сравнению с традиционными языковыми моделями среды на основе подсказок.

4 дня назадDaily Papers

CheckerBench: Могут ли агенты с долгосрочной перспективой синтезировать статические анализаторы?

CheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.

3 дня назадDaily Papers

Tetris3D: Генерация 3D-сцен с объектами, совместимыми друг с другом

Tetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.

позавчераDaily Papers

Пересмотр кросс-токенизаторного on-policy distillation: От охвата выравнивания до надежности обучения

В статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.

3 дня назадDaily Papers

NAMVIS: Следующий масштаб авторегрессивного синтеза многоугольных изображений

NAMVIS — это диффузионно-свободная система синтеза многоугольных изображений, использующая геометрию, условную следующую масштабную авторегрессию, предсказывающую дискретные визуальные токены через ступени грубого до точного масштаба и параллельное сэмплирование по всем целям. Она превосходит методы на основе диффузии по PSNR, SSIM и LPIPS, при этом работая более чем в три раза быстрее.

6 дней назадDaily Papers

SGF+: Разделение градиентных потоков для автономной генерации видео

В статье представлена SGF+, метод генерации автономных видео, который разделяет роли очистки от шума и записи контекста, выделяя для каждой отдельные параметры, что улучшает визуальное качество и временную согласованность без дополнительных данных для обучения или более длительных периодов.

позавчера