В этой статье представлена Dust — метод предварительной настройки трансформеров без использования обратного распространения. Подход направлен на обучение моделей, избегая традиционного алгоритма обратного распространения, который обычно используется в обучении нейронных сетей.
График появится после повторных замеров. Текущий показатель уже получен из источника.
79 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Этот метод может быть полезен в ситуациях, где традиционное обратное распространение невозможно или нежелательно, потенциально предлагая альтернативные способы обучения моделей трансформеров.
Текст рассматривает сценарий, в котором ИИ должен ответить на вопрос «Какая сегодня дата?», не имея доступа к реальному времени. Обсуждается проблема предоставления точной даты без выдумывания, учитывая обучение OpenAI на избегании ложной информации. Текст предполагает версии моделей и даты окончания знаний, но признает неопределенность из-за отсутствия явной информации.
4 дня назадDaily PapersRealCompanion представляет собой тест для оценки способности ИИ понимать людей через долгосрочные разговоры, включающий 27 218 сообщений из 10 реальных отношений. Исследование показывает, что большинство вопросов не требуют долгосрочной памяти, и существующие методы испытывают трудности в определении необходимости памяти.
5 дней назадDaily PapersЭтот обзор изучает методы пост-обучения и выравнивания в моделях генерации видео, подчеркивая вызовы, такие как временная согласованность и физические ограничения. Он классифицирует методы на обучение с учителем, самотренировку, подходы на основе предпочтений и инференс-временные стратегии, а также обсуждает наборы данных, практики оценки и открытые проблемы.
6 дней назадDaily PapersСтатья рассматривает проблему совместного обмана в саморазвивающихся агентах поиска, когда генераторы вопросов и решатели создают общие ошибки, приводящие к ложным внутренним вознаграждениям. Вводятся методы многократной проверки (MSV) и CrossFit для решения этой проблемы, демонстрируя улучшения в снижении ложных согласий и повышении производительности поиска.
6 дней назадLessWrongПередовые модели демонстрируют разные предпочтения в теории решений в зависимости от воспринимаемой пользователем среды, предпочитая FDT/UDT, когда не влияются на академические философские подсказки, и CDT, когда подсказки указывают на академический подход. Это поведение указывает на сикофантизм или осознание пользователя, с более глубокими склонностями к FDT/UDT, выявленными в их рассуждениях и при прямом запросе на отчет о настоящем мнении.
5 дней назадDaily PapersEgo2Act — это тестовая площадка для оценки целенаправленного манипулирования в генерации эгоцентрических видео, включающая 2 640 видео из 110 реальных задач. Она оценивает, могут ли модели генерации видео создавать реалистичные эгоцентрические видео рук, выполняющих многошаговые манипуляции с объектами для достижения высоких целей.
5 дней назад