Врачи могут быть обмануты "предвзятым" искусственным интеллектом, даже несмотря на его обоснования принятого решения

Модели искусственного интеллекта (ИИ) в здравоохранении — это обоюдоострое оружие. Такие системы улучшают диагностические решения для одних категорий населения, но ухудшают решения для других, когда модель вбирает в себя необъективные медицинские данные.

Новое исследование, опубликованное в журнале JAMA, показало, что даже при наличии обоснований того, как было принято то или иное решение, врачи могут быть обмануты "предвзятыми" моделями ИИ.

"Проблема заключается в том, что врач должен понимать, о чем идет речь в обосновании, и понимать само обоснование", — говорит один из авторов исследования Сара Джаббур из Инженерного колледжа Мичиганского университета (США).

Команда университета Мичигана изучала модели ИИ и обоснования ИИ у пациентов с острой дыхательной недостаточностью. В исследовании обнаружили, что базовая диагностическая точность врачей составляет около 73 %.

Междисциплинарная команда провела исследование, в ходе которого оценили точность диагностики 457 врачей, практикующих медсестер и ассистентов врачей с помощью и без помощи модели искусственного интеллекта. Каждого врача попросили дать рекомендации по лечению на основе поставленного им диагноза. Половина врачей была рандомизирована для получения обоснования, данного ИИ вместе с его решением, а другая половина получила только решение ИИ без объяснения.

Затем врачам были предоставлены реальные клинические примеры пациентов с дыхательной недостаточностью, а также оценка модели ИИ того, была ли у пациента пневмония, сердечная недостаточность или хроническая обструктивная болезнь легких (ХОБЛ).

Для половины участников, которые были случайным образом выбраны для получения обоснований, предоставлялась тепловая карта, или визуальное представление, того, куда модель ИИ смотрела на рентгенограмме грудной клетки, что и послужило основанием для постановки диагноза.

Команда обнаружила, что у врачей, которым была представлена модель искусственного интеллекта, обученная делать достаточно точные прогнозы, но без объяснений, их собственная точность увеличилась на 2,9%. Если им предоставлялось объяснение, их точность повышалась на 4,4%.

Чтобы проверить, может ли объяснение помочь врачам распознать, когда модель искусственного интеллекта явно необъективна или неверна в своем решении, команда также представила врачам модели, намеренно обученные быть необъективными — например, модель, предсказывающую высокую вероятность пневмонии, если пациенту 80 лет или больше.

Модели ИИ восприимчивы к сокращениям или ложным корреляциям в обучающих данных. Учитывая набор данных, в котором женщинам недодиагностируют сердечную недостаточность, модель может уловить связь между принадлежностью к женскому полу и более низким риском сердечной недостаточности. Если врачи будут опираться на такую модель, это может усилить существующую предвзятость. Если бы объяснения могли помочь врачам выявить неправильные рассуждения в модели, это помогло бы снизить риски.

Однако когда врачам показывали "предвзятую" модель ИИ, точность их работы снижалась на 11,3%, и объяснения, в которых явно подчеркивалось, что ИИ рассматривает нерелевантную информацию (например, низкую плотность костной ткани у пациентов старше 80 лет), не помогали им преодолеть это серьезное снижение точности диагностики. Наблюдаемое снижение производительности согласуется с результатами предыдущих исследований, которые показали, что пользователи могут быть обмануты моделями.