В статье представлена CLIC — визуальный аналитический подход для сравнения кодирования поведения больших языковых моделей (LLM) через анализ частоты токенов. Определяются новые метрики, устойчивость и концентрация, чтобы оценить, насколько LLM различимы на основе их образцов кода, и разрабатывается интерактивная система для исследования этих различий.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Этот метод предоставляет информацию о том, как разные LLM генерируют код, что может помочь в выборе подходящей модели для конкретных задач и улучшении стратегий инженерии подсказок.
В статье представлена ActionPiece — метод для авторегрессивных моделей визуально-языково-действий, который улучшает токенизацию действий за счет сохранения физических отношений действий с помощью совместного надзора за обучением представлений и квантацией. Используется физическая согласованность рангов (PRC) для оценки того, насколько токенизация сохраняет локальные ранги расстояний после восстановления, и показаны улучшения в успехе политики на нескольких тестах.
6 дней назадDaily PapersВ этой статье оценивается способность мультимодельной генеративной модели MiniMax-H3 рассуждать о физическом мире. Исследование представляет новую систему оценки физического рассуждения через четыре измерения, используя задачи, требующие интеграции информации по нескольким модальностям. Модель показывает общую успешность 41,97% по 517 экземплярам оценки, при этом рассуждение на основе видео работает лучше всего, а на основе аудио хуже всего.
6 дней назадDaily PapersIntBMoE представляет блок-условную архитектуру Mixture-of-Experts (MoE), которая разделяет участие, выполнение и материализацию, объединяя плотную композицию экспертов с разреженным выполнением блоков. Используется обученная кодовая книга для блоков и гиперсеть для объединения экспертов, обеспечивая полное участие при низких затратах на выполнение и память. Эксперименты показывают улучшения в классификации изображений, языковом моделировании и последовательном рекомендовании, с реальным внедрением в системе рекомендаций AMap.
4 дня назадDaily PapersВ статье представлено SELF-INDEX, фреймворк, позволяющий индексу самовосстанавливаться без участия человека, диагностируя проблемы поиска, изменяя ключи индекса и проверяя изменения. Он также использует симулятор запросов для активного поиска новых требований к поиску, улучшая производительность в различных корпусах и приложениях.
5 дней назадDaily PapersВ статье представлен ScienceIDE, фреймворк, преобразующий научные репозитории кода в программируемые среды для обучения научных агентов. Эти среды позволяют генерировать задачи, их выполнение и верификацию, поддерживая сверточную настройку и усиление обучения. Подход показывает улучшения в восстановлении научного кода и общих задач.
6 дней назадDaily PapersВ статье выявлено явление под названием Value Flattening в критиках Proximal Policy Optimization (PPO), когда оцененные значения состояний резко меняются, в то время как прогнозы критика остаются плоскими. Предложена методика SP^3O, которая применяет функцию потерь значения только к нескольким состояниям на ответ, демонстрируя улучшения в обучении политики.
6 дней назад