Обучение языковой модели в целом в Rust: Отчет о опыте

Автор обучил языковую модель в Rust без использования Python или PyTorch, потратив 164 доллара на время GPU. Он выявил критические проблемы в Rust-фреймворках для машинного обучения, таких как Candle и Burn, включая скрытые ошибки градиентов и производственные бутылочные горлышки. Модель показала сильную модель языка Бангла, но плохую производительность на английском из-за смещенного корпуса. Автор пришел к выводу, что Rust еще не подходит для обучения больших языковых моделей, хотя может быть полезен для встроенной инференсии.