Нулевой порядок парадигмы выравнивания предпочтений LLM

В этой статье представлено Comparison-based Preference Optimization (ComPO), нулевого порядка метод выравнивания больших языковых моделей с предпочтениями человека, использующий сравнительные оракулы для извлечения направленной информации из пар предпочтений без прямой оптимизации дифференцируемой функции потерь. Метод включает варианты offline и online с гарантиями сходимости и производительности, показывая улучшения по сравнению с существующими методами выравнивания в экспериментах с различными моделями.