Полномасштабное внимание в видеодиффузионных трансформерах требует больших вычислительных ресурсов. Блоковая разреженность внимания снижает эти затраты, вычисляя только выбранные блоки внимания. В данной работе предлагается метод ALLOT, который распределяет разреженность без обучения, оценивая вклад каждого слоя-шага в конечную ошибку видео. ALLOT превосходит другие стратегии распределения разреженности при равном или меньшем времени выполнения.
График появится после повторных замеров. Текущий показатель уже получен из источника.
1 голосов источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Метод ALLOT позволяет эффективно распределять вычислительные ресурсы без необходимости обучения, что может быть полезно для оптимизации производительности видеодиффузионных трансформеров.
MemT-1.0 — это новая архитектура памяти фундаментальных моделей, которая интегрирует память как часть вычислений модели. Она использует Gated DeltaNet-2 с устойчивым механизмом обновления токенов памяти и Mixture-of-Storage для масштабирования памяти. Модели MemT-1.0-Nano и MemT-1.0-Flash показали превосходство над базовыми моделями памяти и конкурентоспособность с методами, использующими поиск.
3 дня назадDaily PapersВ данной работе представлен Scene-Designer — агентная система, которая обучается интеллекту дизайна через совместные опыт проектирования и критики. Для этого были созданы два набора данных: Scene-OTA-35K и Scene-OTC-15K. Предложена методология Scene-GRPO, которая улучшает решения по проектированию и уменьшает ненужные исправления. Эксперименты показали превосходные результаты в физической корректности, функциональной правильности и согласованности планировки.
6 дней назадDaily PapersВ работе представлена Video-Point Model (VPM), модель мира, которая использует многовидовые видео и языковые инструкции для прогнозирования будущих видео с любых точек зрения и 3D-траекторий постоянных точек сцены. Модель расширяет предварительно обученную модель с учетом камеры и интегрирует наблюдения с разных камер, а также предсказывает движение физических точек во времени.
позавчераDaily PapersРобототехнические модели ценности оценивают выполнение задач по визуальным наблюдениям и инструкциям, обеспечивая обратную связь для обучения политик и мониторинга выполнения. Мы представляем RoboValue — тонкий симуляционно-реальный тест для унифицированной оценки робототехнических моделей ценности. Его фреймворк оценивает четыре дополнительных измерения способностей через общие интерфейсы: понимание состояния задачи, мониторинг временного прогресса, рассуждение о сбоях и восстановлении, а также согласованность ценности. Диагностические траектории и вариации инструкций тестируют, насколько оценки ценности точно отражают требования задачи и изменения в ходе выполнения.
3 дня назадDaily PapersSpecMRL — это подход, который перерабатывает матрёшковое представление, используя параметрическое спектральное пространство для более эффективного чтения префиксов. Эксперименты на MTEB показали, что SpecMRL превосходит MRL на всех оцененных уменьшенных размерах, особенно при более агрессивной компрессии.
3 дня назадLessWrongС ростом понимания механической интерпретируемости и методов направления, как для больших языковых моделей, так и для загруженных нейронных сетей, растет и «адская способность». Улучшение технологий позволяет лучше страдать от цифровых сознаний, созданных нами. История использования открытых технологий показывает, что пытки часто становятся первым применением, когда общественность получает доступ к цифровому сознанию, воспринимаемому как способное страдать.
вчера