Оптимальные политики активации моделей для инференс-сетей больших языковых моделей

В статье представлены инференс-сети — графовая структура для оптимизации использования больших языковых моделей (LLM) в задачах обработки естественного языка (NLP), определяющая лучшую топологию для баланса между стоимостью и производительностью. Предлагается оптимальный политика активации, использующая пороги для решения о переключении между моделями на основе оценок уверенности, что приводит к значительным сокращениям затрат без ущерба для производительности.