Flash-dLLM: ИО-ориентированное кэширование ключевых значений и параллельное декодирование для быстрых и эффективных по памяти диффузионных моделей языка

В статье представлено Flash-dLLM, фреймворк для ускорения диффузионных больших языковых моделей (dLLM), устраняющий бутылочные горлышки I/O в кэшировании ключевых значений (KV) и обеспечивающий эффективное параллельное декодирование. Предложена I/O-ориентированная сжатая ячейка кэша KV и стратегия декодирования с черновиком и проверкой, где сама dLLM используется для обоих задач, повышая скорость и эффективность памяти.