AdaMem: Адаптивное распределение токенов памяти для мягкого сжатия в генерации, основанной на поиске

AdaMem — это фреймворк адаптивного распределения токенов памяти для мягкого сжатия в генерации, основанной на поиске, который распределяет эмбеддинги памяти на основе релевантности проходов, а не равномерно. Он превосходит существующие методы в тестах на открытых вопросах и ответах с существенными улучшениями в точности при различных коэффициентах сжатия, при этом снижая время инференса.