Синтетическая предварительная подготовка выдерживает масштаб, но не как грамматический приоритет

Предварительная подготовка (PPT) на синтетических данных, не являющихся естественным языком, повышает эффективность использования токенов при предварительной тренировке языковых моделей (PT). Однако исследование показывает, что эффективность PPT на больших масштабах и с разнообразными наборами данных не зависит от грамматического приоритета, а связана с задачами, улучшающими долгосрочную выборку. PPT остается полезной даже при использовании до 100 млрд токенов PT и устойчива к составу данных, при условии наличия веб-текста.