Эволюция внимания в крупных языковых моделях: механизмы, компромиссы и возникающие тенденции

Этот обзор исследует эволюцию механизмов внимания в крупных языковых моделях, акцентируя внимание на стратегиях управления памятью, таких как сжатие явной памяти, разреженный доступ и рекуррентные состояния. Вводится пятимерный подход для анализа того, как контекстная память представляется, обновляется, доступна, считывается и интегрируется в моделях, подчеркивая тенденции в архитектурном дизайне и координации памяти на разных уровнях и функциях.