norgitov/ trends
Технологии · люди · идеи
К обзору/Daily Papers57 минут назад

Насколько без потерь специулятивное декодирование? Роль численной точности в Orthrus

Исследование пересматривает утверждение о без потерь специулятивном декодировании в Orthrus, гибридной архитектуре автосуммарно-диффузионной модели, при различных численных точностях. Оно выявляет, что точное совпадение траекторий происходит только в 45% случаев при BF16 и 100% при FP32, что указывает на то, что численная точность значительно влияет на без потерь модель.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
18
голосов источника
Наблюдаем с15 сентября 2026 г.18 голосов источника
Темп интересаНужны повторные замеры
Опубликовано14 сентября 2026 г.Ilya Koziev, Leonid Sinev, Ivan Oseledets
ЗА ЦИФРАМИ

Как меняется интерес

История начинает расти

График появится после повторных замеров. Текущий показатель уже получен из источника.

18 голосов источника

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Это открытие подчеркивает важность численной точности для достижения точного совпадения вывода в гибридных моделях, что критично для приложений, требующих детерминированного поведения.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема