norgitov/ trends
Технологии · люди · идеи
К обзору/arXiv1 час назад

Functionalizer: Безвредное функциональное разложение для субсловной токенизации

Functionalizer — это предварительный токенизатор, который разбивает орфографические и структурные вариации на префиксный поток операторов преобразования и базовых токенов, обеспечивая безвредную обработку вариаций слов без фрагментации пространства векторов. Он уменьшает размер словаря на 16% в различных корпусах, хотя увеличивает длину последовательности в естественном языке, но сжимает последовательности кода, демонстрируя улучшенную грамматическую корректность кода и характеристику перплекситета в моделях масштаба GPT-2.

Открыть первоисточник
СИГНАЛ ИЗ ИСТОЧНИКА
16
сентябрь 2026 г.
Наблюдаем с16 сентября 2026 г.
Темп интересаНужны повторные замеры
ОбсуждениеИсточник не передаёт комментарии
Опубликовано16 сентября 2026 г.Connor Makowski, Willem Guter
ЗА ЦИФРАМИ

Как меняется интерес

Здесь важнее сама публикация

Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.

Только реальные замеры. История до подключения источника не восстанавливается.

ЗАЧЕМ ОБРАТИТЬ ВНИМАНИЕ

Он обеспечивает более эффективное использование словаря и лучшее управление орфографическими вариациями в тексте и коде, потенциально улучшая производительность модели на задачах, связанных с кодом.

Полезная находка?
ПРОДОЛЖИ ИССЛЕДОВАНИЕ

Рядом по теме

Вся тема