Менее 1% диагностических исследований с помощью AI-технологий основаны на качественных данных

Менее 1% диагностических исследований с помощью AI-технологий основаны на качественных данных

03 Oct 2019
115
Прослушать

Согласно данным нового анализа, менее 1% имеющихся исследований эффективности искусственного интеллекта (artificial intelligence, AI) в выявлении заболеваний подтверждается качественными данными.

Всесторонний обзор научной литературы, который провели британские специалисты из университета Бирмингема и университетских больниц Бирмингемского NHS Foundation Trust показал, что лишь немногие из таких исследований могут считаться достаточно надежными для обоснования своих претензий. При этом было высказано предположение, что во многих исследованиях предпочтение отдается машинному обучению и, как правило, чрезмерно завышаются возможности компьютерных алгоритмов при их сравнении с возможностями специалистов в области здравоохранения.

В результате было установлено, что AI смог обнаружить заболевания на медицинских снимках с той же степенью точности, что и медицинские работники - в отличие от нескольких исследований, которые показали, что искусственный интеллект по своим диагностическим возможностям значительно превышает человека. В исследовании сделан вывод о том, что, хотя машинное обучение обещает помочь клинической диагностике, его истинный потенциал остается неопределенным, и содержится призыв к повышению стандартов исследований и отчетности для улучшения будущих оценок.

Исследование было охарактеризовано как "первый систематический обзор и мета-анализ, обобщающий все имеющиеся данные из научной литературы".

Опубликованный в журнале Lancet Digital Health, обзор включал анализ более 20 500 статей, опубликованных в период с января 2012 года по июнь 2019 года, в которых сравнивались результаты использования моделей глубокого обучения и работы медицинских работников по выявлению заболеваний на основе медицинских изображений. Только менее 1% из них были признаны "достаточно надежными в своей структуре" и только в них отмечается, что независимые рецензенты с высокой степенью уверенности относятся к их заявлениям.

9e606a9f14573f10dc6846d222ba86fb.jpg

Кроме того, лишь 25 исследований подтвердили достоверность моделей искусственного интеллекта с использованием медицинских изображений из разных популяций, в то время как в 14 исследованиях использовалась одна и та же тестовая выборка для сравнения характеристик искусственного интеллекта и медицинских работников.

Анализ данных этих 14 исследований показал, что в лучшем случае алгоритмы глубокого изучения в 87% случаев позволяют правильно обнаружить заболевание, по сравнению с 86%, достигнутыми медицинскими специалистами.

Способность идентифицировать пациентов, не страдающих заболеваниями, также была одинакова для алгоритмов глубокого обучения (специфичность в 93%) по сравнению с врачами (91%).

Авторы отчета отмечают, что

В рамках этих немногих высококачественных исследований мы обнаружили, что глубокое обучение может действительно выявить заболевания, начиная от рака и заканчивая глазными болезнями, с такой же точностью, как и профессиональные медики. Но важно отметить, что AI ненамного превосходит человеческий диагноз.

Авторы также подчеркнули ограничения в методологии и отчетности по результатам диагностических исследований AI, отметив, что системы на базе глубокого обучения "часто оценивалось изолированно таким образом, что это не отражает клиническую практику".

Например, только четыре исследования предоставили медицинским работникам дополнительную клиническую информацию, которую они обычно используют для постановки диагноза в реальных условиях. И лишь немногие исследования проводились в реальных клинических условиях, при этом большинство исследований не содержали недостающих данных, что, по мнению исследователей, ограничивало бы выводы, которые могли быть сделаны на их основе.