Знают ли маленькие языковые модели, чего они не знают?

Исследование изучает, можно ли использовать сигналы уверенности на основе энтропии для повышения точности небольших языковых моделей (SLM) с менее чем 3 миллиардами параметров. Оно выяснило, что токен-уровневая энтропия неэффективна, но семантическая энтропия, основанная на генерации нескольких образцов и измерении распределительной неопределенности, обеспечивает пригодный сигнал уверенности. Перенаправление неуверенных запросов в более крупные экспертизы повышает точность значительно, с большими преимуществами при межсемейном перенаправлении.