OSWorld-Science: Тест для агентов, использующих компьютер, в обучении и использовании научного программного обеспечения

OSWorld-Science — это тест для оценки агентов, использующих компьютер в научных задачах программного обеспечения, включающий 146 высококачественных задач в различных научных областях. Он включает оценку на основе артефактов и среду для сравнения моделей и стратегий взаимодействия, подчеркивая трудности, с которыми сталкиваются современные визуальные языковые модели (VLM) в научных рабочих процессах.