AI-алгоритмы неодинаково работают с данными разных организаций

Американские ученые из Медицинской школы Айкена при клинике Маунт-Синай обнаружили, что один и тот же алгоритм глубокого обучения, предназначенный для диагностики пневмонии по рентгеновским снимкам груди, сделанным в клинике, работает хуже, когда анализирует медицинские изображения, полученные от Национальных институтов здоровья США* и Университетской сети Индианы по уходу за пациентами.

В опубликованной в журнале PLOS статье они отмечают, что

Первые результаты использования алгоритма сверточных нейронных сетей для анализа рентгеновских снимков с целью диагностирования болезни были очень обещающими. Но мы не смогли подтвердить, что модели, "обученные" на рентгеновских снимках из одной больницы или одной группы больниц, будут одинаково хорошо работать в разных больницах. И прежде, чем начать использовать эти решения для компьютерной диагностики в реальных клинических условиях, мы должны проверить их способность одинаково работать в различных больничных сетях.

Несмотря на всю происходящую вокруг технологий искусственного интеллекта (artificial intelligence, AI) шумиху и появляющиеся чуть ли не каждый день сообщения о разработке новых решений, данные исследований, проведенных в клинике Маунт-Синай, показывают реальную ситуацию, при которой "оценки производительности сверточных нейронных сетей, основанные на тестовых данных из больничных систем, которые использовались для "обучения" модели, могут преувеличивать их возможности и значительно отличаться от их реальной производительности".

Недавно мы писали, что, согласно данным аналитиков HIMSS Media, технологии искусственного интеллекта и машинного обучения оказывают наибольшее влияние на инновации в здравоохранении, немного уступив в этом рейтинге только аналитике и системам управления данных. Открытие ученых клиники Маунт-Синай призывает отрасль "спуститься с небес на землю" и выявляет тот факт, что для повсеместного распространение технологий искусственного интеллекта в здравоохранении еще предстоит сделать много работы.

* Национальные институты здоровья (National Institutes of Health, NIH) — учреждение Департамента здравоохранения США. Является основным центром правительства США, ответственным за исследования проблем здравоохранения и биомедицины. NIH состоит из 27 институтов и исследовательских центров.