В статье предлагается KVLearn — фреймворк на основе обучения для учета стоимости сохранения кэша KV в распределённых системах обслуживания LLM. Он включает в себя предиктор повторного использования префиксов, оценку стоимости сохранения и адаптивный контроллер порогов. KVLearn снижает время до первого токена и объем передачи данных между узлами.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Предлагаемое решение может быть полезно для оптимизации работы распределённых систем обработки больших языковых моделей, уменьшая время отклика и нагрузку на сеть.
В данной работе представлен Scene-Designer — агентная система, которая обучается интеллекту дизайна через совместные опыт проектирования и критики. Для этого были созданы два набора данных: Scene-OTA-35K и Scene-OTC-15K. Предложена методология Scene-GRPO, которая улучшает решения по проектированию и уменьшает ненужные исправления. Эксперименты показали превосходные результаты в физической корректности, функциональной правильности и согласованности планировки.
6 дней назадDaily PapersВ работе представлена Video-Point Model (VPM), модель мира, которая использует многовидовые видео и языковые инструкции для прогнозирования будущих видео с любых точек зрения и 3D-траекторий постоянных точек сцены. Модель расширяет предварительно обученную модель с учетом камеры и интегрирует наблюдения с разных камер, а также предсказывает движение физических точек во времени.
позавчераDaily PapersSpecMRL — это подход, который перерабатывает матрёшковое представление, используя параметрическое спектральное пространство для более эффективного чтения префиксов. Эксперименты на MTEB показали, что SpecMRL превосходит MRL на всех оцененных уменьшенных размерах, особенно при более агрессивной компрессии.
3 дня назадDaily PapersMemT-1.0 — это новая архитектура памяти фундаментальных моделей, которая интегрирует память как часть вычислений модели. Она использует Gated DeltaNet-2 с устойчивым механизмом обновления токенов памяти и Mixture-of-Storage для масштабирования памяти. Модели MemT-1.0-Nano и MemT-1.0-Flash показали превосходство над базовыми моделями памяти и конкурентоспособность с методами, использующими поиск.
3 дня назадDaily PapersРобототехнические модели ценности оценивают выполнение задач по визуальным наблюдениям и инструкциям, обеспечивая обратную связь для обучения политик и мониторинга выполнения. Мы представляем RoboValue — тонкий симуляционно-реальный тест для унифицированной оценки робототехнических моделей ценности. Его фреймворк оценивает четыре дополнительных измерения способностей через общие интерфейсы: понимание состояния задачи, мониторинг временного прогресса, рассуждение о сбоях и восстановлении, а также согласованность ценности. Диагностические траектории и вариации инструкций тестируют, насколько оценки ценности точно отражают требования задачи и изменения в ходе выполнения.
3 дня назадLessWrongС ростом понимания механической интерпретируемости и методов направления, как для больших языковых моделей, так и для загруженных нейронных сетей, растет и «адская способность». Улучшение технологий позволяет лучше страдать от цифровых сознаний, созданных нами. История использования открытых технологий показывает, что пытки часто становятся первым применением, когда общественность получает доступ к цифровому сознанию, воспринимаемому как способное страдать.
вчера