Tokka-Bench — это открытая платформа для оценки токенизаторов по 100 естественным языкам и 20 языкам программирования с использованием пяти метрик: байт на токен, охват уникальных токенов, субсловная плодовитость, скорость разделения слов и структура словаря. Исследование показывает, что стратегия распределения словаря важнее, чем размер словаря, для эффективности естественных языков, тогда как эффективность языков программирования сходится среди современных токенизаторов.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Эта платформа помогает сравнивать производительность токенизаторов по нескольким языкам и метрикам, предоставляя информацию об эффективности и стратегиях словаря.
CheckerBench — это тестовый набор для оценки способности кодирующих агентов синтезировать статические анализаторы на основе спецификаций дефектов, включая задачи, полученные из 300 уязвимостей CVE в различных репозиториях и экосистемах языков. CheckerLab — это фреймворк оценки, измеряющий контраст диагностик, локализацию патчей и использование инструментов, при этом результаты показывают, что текущие агенты сталкиваются с трудностями в разработке надежных проверок, достигая максимального значения Pass@1 в 45,33%.
позавчераDaily PapersTetris3D — это генеративная система восстановления 3D-сцен по одному изображению, обеспечивающая геометрическую и физическую согласованность объектов. Она использует явное условие на геометрию окружающих объектов и их физические отношения, а также физически основанный набор данных ComOb для обучения и оценки.
вчераDaily PapersВ статье исследуется на-policy distillation (OPD) в кросс-токенизаторных условиях, с акцентом на охват выравнивания и надежность обучения. Установлено, что строгое выравнивание 1:1 охватывает большинство токенов, сгенерированных студентом, несмотря на несоответствие словарей, и что ограничение обратной KL до топ-16 подмножества общего словаря достигает сравнимой точности с полным общим словарем OPD, в то время как добавление обучения по спанам снижает точность.
позавчераDaily PapersВ статье представлено WING, фреймворк, который переносит знания об взаимодействии из видео с человеческой перспективы на роботизированные политики, разделяя движение наблюдателя на взаимодействие рук и объектов и используя спектральный анализ для выявления общих временных структур между поведением человека и робота. Он показывает высокие показатели успешности на нескольких бенчмарках и демонстрирует сильные результаты в реальных задачах.
6 дней назадDaily PapersВ статье представлена NAVA-WAM, метод предварительной настройки политик действий непосредственно из видеозаписей без использования аннотированных данных о действиях. Метод включает два этапа: предварительную настройку на видео с визуальным контролем переходов и последующую настройку с использованием демонстраций с аннотациями действий для улучшения управления роботом.
6 дней назадDaily PapersСтатья изучает на-policy distillation (OPD) в постобучении языковых моделей, объясняя, как это может привести как к улучшению производительности, так и к коллапсу генерации. Она предполагает, что OPD усиливает поведение студентов, любимое неявной обратной связью учителя, и предлагает методы, такие как маскировка нездоровых ответов и инициализация SFT, для смягчения коллапса.
6 дней назад