Увеличение уровня навыков привлекает более глубокие слои внимания в замороженном шахматном трансформере

Статья изучает, как повышение уровня навыков в предобученной шахматной трансформерной модели Maia-3 влияет на глубину слоев внимания. При изменении входного рейтинга Эло модель активирует более глубокие слои внимания, особенно для определенных тактических ходов, таких как фокусы коней. Исследование показывает, что при более высоком уровне навыков используются более поздние, специализированные головы внимания, в то время как более ранние головы сохраняют постоянный вклад.