Турбулентность и хрупкость: эксперименты на основе подсказок чувствительны к случайным деталям

Статья показывает, что эксперименты с большими языковыми моделями (LLM), основанные на подсказках, могут быть очень чувствительны к мелким, казалось бы, незначимым деталям в настройке подсказок, что приводит к различным поведениям даже при схожих экспериментальных дизайнах. Исследование подчеркивает сложности интерпретации результатов таких экспериментов и подчеркивает необходимость осторожности при проведении исследований, связанных с подсказками.