HybridInfer - термально-осознанный роутер на основе обучения с подкреплением для инференса LLM на устройстве, на краю и в облаке. Он использует термальный запас устройства и сложность запроса для выбора между тремя уровнями (на устройстве Llama 3.2 3B, на краю Llama 3.1 8B с поиском, в облаке GPT-4o) и балансирует качество, задержку, стоимость и термальные ограничения.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Этот подход обеспечивает более надежную и эффективную инференцию LLM, учитывая термические ограничения и оптимизируя качество, задержку и стоимость на разных уровнях вычислений.
В статье исследуется линейность в больших языковых моделях (LLM), демонстрируя, что объединение входов из разных потоков текста приводит к суперпозиции распределений следующих токенов. Авторы предполагают, что эта линейность является врожденным свойством архитектуры Transformer и может быть восстановлена с помощью тонкой настройки, позволяя генерировать два согласованных продолжения за один проход.
4 дня назадDaily PapersВ статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
6 дней назадDaily PapersВ этой статье представлена FuseReg, метод, который заменяет эвристическую фьюзинг-фьюзинг в представительных автокодерах (RAE) обучением на случайных подмножествах слоев кодировщика. Подход уменьшает разрыв между реконструкцией и генерацией, повышая устойчивость к выбору фьюзинга слоев, достигая более высокого PSNR и более низких значений FID генерации без изменения предобученного кодировщика.
3 дня назадDaily PapersИсследование изучает JEV-as-a-Judge, экономичный метод оценки языковых моделей, основанный на уровнях уверенности, демонстрируя сравнимую производительность с ведущими судьями за долю стоимости. Подчеркивается, что JEV хорошо справляется со стандартными задачами, но испытывает трудности с сложными оценками, требующими глубокого анализа, но каскадная система, передающая сомнительные случаи, сохраняет большую часть точности при более низкой стоимости.
6 дней назадLessWrongЭтот пост исследует замешательство автора относительно того, как нейронные сети, особенно большие языковые модели (LLM), выполняют и учатся вычислениям. Он подвергает сомнению традиционный подход к механической интерпретации, основанный на цепях, утверждая, что «цепи» и «вычисления» могут не быть наиболее подходящей основой для понимания LLM. Эссе обсуждает представительный дрейф как ключевую проблему для анализа цепей на основе весов и предлагает «ко-селекционистскую» точку зрения на цепи как возникающие единицы. Автор также размышляет о том, как концепция «универсальности» должна влиять на объяснения функционирования LLM.
6 дней назадDaily PapersВ данной работе представлено StableVQ, метод повышения стабильности обучения векторно-квантованных токенизаторов, устраняющий взаимосвязь между обучением энкодера-декодера и кодовой книги. Предлагаются три ключевых компонента: Dynamic STE для стабилизации энкодера, Region VQ Loss для обучения кодовой книги и Decoupled Schedule для отдельных динамик оптимизации. Эксперименты на ImageNet показывают улучшение стабильности обучения, использования кодовой книги и качества восстановления.
6 дней назад