Статья обсуждает противоречие между теоретическими аргументами информационной неэффективности RL и практическими результатами, где RL демонстрирует высокую эффективность в обучении языковых моделей.
График появится после повторных замеров. Текущий показатель уже получен из источника.
13 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Это может быть полезно для понимания механизмов обучения языковых моделей и эффективности различных методов оптимизации.
Статья обсуждает фальсификацию Пилtdown Man, обманувшую биологию эволюции в течение десятилетий. Автор проводит параллель между Пилtdown Man и рукописью Войнич, предполагая, что последняя также может быть бесполезной фальсификацией. Автор утверждает, что, несмотря на наличие доказательств, подтверждающих идею о том, что рукопись Войнич — это подделка, она не соответствует современным стандартам доказательств для доказательства мошенничества.
4 дня назадLessWrongАвтор исследовал обучение модели GPT-2 с полным батчевым градиентным спуском на подмножестве данных FineWeb. Результаты показали, что полнобатчевый подход достигает более низкой тренировочной потери, но хуже обобщается на валидационных данных по сравнению с обычным обучением.
вчераLessWrongВ статье описываются усилия автора и его друга Майка по автоматизации процесса переноса данных из веб-сайта в электронную таблицу с использованием ИИ. Майк, который работает в сфере обработки данных, тратит значительное количество времени на ручной ввод информации, что автор считает неэффективным.
4 дня назадLobstersИсходный текст поднимает вопрос о том, скопировал ли Ente Locker код без соответствующего указания источника.
позавчераHacker NewsOpenCode 2.0 — это проект, связанный с открытым кодом.
вчераLobstersЛинус Торвальдс работает над значительным улучшением ядра Linux, используя код, созданный с помощью Claude.
3 дня назад