В этой статье представлена проверочная процедура для моделей трекинга знаний (KT), оценивающая предсказательную точность, стабильность объяснений и достоверность. Сравнивается модель XGBoost с использованием объяснений TreeSHAP с глубокими базовыми моделями, выявляя, что различия в производительности обусловлены доступностью информации, а не типом модели. Исследование подчеркивает важность инженерии признаков и реконструкции данных в задачах KT.
Этот официальный источник не публикует счётчик популярности. Материал обновляется по его RSS.
Только реальные замеры. История до подключения источника не восстанавливается.
Это исследование предоставляет рамочную модель для оценки и повышения надежности моделей трекинга знаний, что особенно важно для образовательных приложений, где необходимы прозрачные и последовательные прогнозы.
В статье представлена Taste-Bench — тест для оценки «вкуса» агента при принятии решений на длинных горизонтах. Она измеряет способность выбирать лучший путь на точках ветвления без знания будущих исходов, показывая, что современные модели плохо справляются, и что вкус можно улучшить с помощью дистилляции.
3 дня назадDaily PapersВ статье представлена методика Document Retrieval-Aware Chunking (D-RAC), которая эффективно обрабатывает корпоративные документы, нормализуя их в PDF и преобразуя в оптимизированный для поиска Markdown с использованием мультимодельной ИИ. Этот подход сохраняет структуру документа, снижает затраты на токены и повышает эффективность фрагментации.
4 дня назадDaily PapersHappyWorld-Bench — комплексный бенчмарк для оценки надежности сгенерированных миров при взаимодействии, изучая их согласованность и отзывчивость. Он включает три трека — видео, пространственные и телесные модели мира — с 1 138 видеоподсказками, 300 пространственными сценами и 254 тестовыми случаями для телесных моделей. Бенчмарк использует сравнения A/B с участием людей и автоматизированные метрики для оценки корректности поведения и производительности 14 видео-моделей, 9 пространственных систем и 8 телесных кандидатов.
4 дня назадDaily PapersВ этой статье представлена система распознавания текста в сцене, охватывающая несколько языков, использующая архитектуру Mixture-of-Experts (MoE), учитывающую письменность. Система ScriptMoE превосходит существующие методы на задачах распознавания многоязычного текста, используя большой синтетический датасет и легковесную архитектуру, которая делит визуальный кодировщик, а декодирование выполняется специализированными экспертами для каждой письменности.
4 дня назадDaily PapersOmniEdu — это открытая семья фундаментальных моделей для образования K-12, ориентированная на решение задач, понимание учебной программы, диагностическое мышление и инструктаж. Модели обучены на разнообразном наборе данных образовательных ресурсов и оценены по нескольким бенчмаркам, демонстрируя высокую производительность в образовательных задачах.
6 дней назадLessWrongЭтот пост исследует замешательство автора относительно того, как нейронные сети, особенно большие языковые модели (LLM), выполняют и учатся вычислениям. Он подвергает сомнению традиционный подход к механической интерпретации, основанный на цепях, утверждая, что «цепи» и «вычисления» могут не быть наиболее подходящей основой для понимания LLM. Эссе обсуждает представительный дрейф как ключевую проблему для анализа цепей на основе весов и предлагает «ко-селекционистскую» точку зрения на цепи как возникающие единицы. Автор также размышляет о том, как концепция «универсальности» должна влиять на объяснения функционирования LLM.
3 дня назад