ModaLens: Измерение чувствительности изображений в медицинских VLM, зависящих от отчетов

ModaLens оценивает, как наличие радиологического отчета влияет на чувствительность медицинских моделей визуально-языкового обучения (VLM) при замене изображений. Эксперименты на 3 199 случаях MIMIC-CXR показали, что наличие отчета снизило чувствительность при замене изображений, с увеличением на 16,7 пункта в ответах при наличии отчета. Исследование подчеркивает влияние текстового контекста на поведение модели, хотя выводы о визуальной корректности ограничены метками, полученными из отчетов.