Данные для предварительного обучения, а не проверяемость, объясняют сильные стороны LLM в математике и программировании

Статья утверждает, что большие языковые модели (LLM) хорошо справляются с математикой и программированием не потому, что эти задачи легко проверить, а благодаря качеству данных для предварительного обучения. Автор считает, что точность математической литературы и работоспособность кода в интернете позволяют LLM эффективно имитировать правильные паттерны. Однако статья отмечает, что LLM могут генерировать код, который работает, но при этом может быть неэффективным или содержащим ошибки, требующими дальнейшей доработки.