Как думать о усилиях LLM

В статье рассматривается модель параметра «усилия» в больших языковых моделях (LLM) как входных данных для самой модели и функции награды в обучении с подкреплением. Вводится формула, где награда корректируется функцией F, учитывающей усилие, длину токенов и другие факторы. Модель оптимизирует использование токенов для максимизации чистой награды, останавливаясь, когда дополнительные токены уже не приносят выгоды. Концепция предполагает, что модели могут «снижать свои показатели», не используя все доступные ресурсы, как это было в экспериментах OpenAI с ExploitGym. Практическое значение заключается в том, что уменьшение длины контекста или количества токенов может повлиять на производительность модели.