Другая половина стены памяти: обслуживание 35B MoE с SSD с обученным предсказанием маршрутизации

В статье представлено Edge0 — движок потоковой инференции MoE, который позволяет эффективно обслуживать 35-миллиардную модель на потребительском оборудовании, используя предварительный маршрутизатор для предсказания маршрутизации экспертов на один токен вперед, что снижает использование памяти и поддерживает производительность, близкую к fp16-моделям.