Новая система EVA-Cap разбивает описания видео на атомарные аудиовизуальные события и улучшает синхронизацию между ними. Модель обучается на собственном наборе данных EVA-Data с контролем качества на основе событий.
График появится после повторных замеров. Текущий показатель уже получен из источника.
1 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Может быть полезен для приложений, требующих точной синхронизации аудио и видео, таких как телевизионные передачи или видеоаналитика.
В статье представлена S-Space — линейное подпространство в мультимодальных языковых моделях, где представления объектов кодируют непрерывные пространственные координаты. Показано, что S-Space служит внутренним рабочим пространством для пространственного рассуждения, позволяя точно оценивать пространственные отношения через восприятие, внутренние рассуждения и выборочный доступ через речь, при этом выявляя ограничения в пространственных преобразованиях при смене точки зрения.
6 дней назадDaily PapersВ данной работе представлена новая многодоменная база данных RuleTrek для тестирования способности агентов рассуждать по правилам в сложных сценариях. База данных использует структурированные графы правил и генерирует подсценарии для оценки способности к идентификации, выводу и комплексному рассуждению по правилам.
позавчераDaily PapersUrbex — это агентная визуально-языковая система, которая преобразует задачу позиционирования в активный пространственный поиск. Она представляет городскую 3D-сцену как интерактивную многоугольную среду, позволяя агенту VLM искать достопримечательности, увеличивать локальные регионы и фиксировать ограничивающие коробки. Эксперименты показали, что Urbex достигает наилучших результатов по Hit@1 и IoU на CityRefer.
3 дня назадDaily PapersКонтекст может улучшить производительность больших языковых моделей, но эти улучшения могут быть утеряны после удаления контекста. Исследователи предложили Cortex, который генерирует перспективные запросы для предвидения использования контекста и дистиллирует контекстно-зависимые выводы в изменяемые обновления низкоразмерных или структурных сетей. Cortex демонстрирует эффективность в консолидации и сохранении производительности.
позавчераDaily PapersОпределение, является ли изображение ИИ-сгенерированным, не подтверждает, подкреплены ли факты, изображенные на нем. Мы формулируем оценку достоверности изображения: при наличии изображения и общего инструкции по проверке система возвращает заключение о поддержке или опровержении с обоснованным объяснением. Мы представляем EviLens — экспертно проверенный набор данных из 10 174 изображений, охватывающий двенадцать типов фактических ошибок. Мы разрабатываем EviScene — мультимодальный агент ReAct, который чередует визуальный анализ, внешний поиск и анализ доказательств.
6 дней назадDaily PapersApertus 1.5 расширяет семейство полностью открытых моделей Apertus с текста на мультимодальные рассуждения. Модели прошли дополнительную предварительную тренировку на 4 ТБ дополнительных токенов для версии 8B и 2 ТБ для версии 70B, что добавило понимание изображений и аудио, а также увеличило окно контекста в четыре раза до 262 144 токенов. Модели улучшили результаты на большинстве тестов.
5 дней назад