Зачем нейронные сети должны ускорить МРТ?

МРТ позволяет диагностировать проблемы с суставами и системой кровообращения. Тренировка системы компьютерного зрения поможет более точно выявлять закупоренные кровеносные сосуды и аневризмы головного мозга.

Группа японских исследователей доказала, что компьютерное зрение может увеличить обнаружение аневризмы на 13% относительно анализа изображений невооруженным глазом.

Такая помощь Искусственного Интеллекта становится особенно критичной, когда речь идет о повреждении мозга, инсультах или внутреннем кровотечении и каждая секунда может иметь значение. Почему для врачей и пациентов так актуально ускорение МРТ с помощью нейронных сетей, об этом рассказывает научный сотрудник в Philips Research Russia Сергей Кастрюлин, эксперт в области применения технологий глубокого обучения ИИ для решения задач улучшения качества медицинских изображений.

Что такое МРТ «глазами» ИИ?

- Магнитно-резонансная томография – безболезненный неинвазивный метод, который позволяет врачам диагностировать болезни головного мозга, сердца, суставов, мягких тканей, внутренних органов. Когда пациент находится в сканере, с помощью аппарата поэтапно снимается некоторое количество первичных, «сырых» данных. Это продолжительный процесс, именно он занимает большую часть исследования. Далее следует процедура восстановления изображения. В результате врач получает снимок, который он может интерпретировать и использовать для постановки диагноза.

Зачем нужно минимизировать время обследования на МРТ?

- Каждый, кто когда-либо сталкивался с МРТ, знает, что этот вид медицинского обследования доставляет пациентам дискомфорт. Процедура может занимать от 20 минут до часа в зависимости от сложности. На протяжении всего сканирования пациент должен лежать в аппарате неподвижно – это особенно нелегко дается детям и людям, испытывающим болевые ощущения. В худшем случае МРТ может привести к приступу клаустрофобии. Если пациент двигается во время сканирования, качество снимка может упасть, и у врача не будет возможности его верно интерпретировать. В таких случаях весь процесс приходится повторять с самого начала, что увеличивает стресс пациента, стоимость исследования, а также отнимает много усилий и времени медицинского персонала.

Именно по этим причинам сокращение времени МРТ положительно влияет на качество и эффективность медицинской помощи и позволяет экономить средства пациентов и больниц.

Как происходит процесс съемки внутренних органов в МРТ?

- Магнитно-резонансные томографы оснащены мощным магнитом, который создает магнитное поле. Под его воздействием элементарные частицы тела человека вырабатывают определенный сигнал, который затем улавливается специальными датчиками и с помощью компьютера преобразуются в качественные изображения органов.

Какие инновации приносит ИИ в МРТ?

- Изображение в МРТ формируется посредством постепенного сбора данных в виде слоев, напоминающих линии. Чем больше таких «линий» снимает аппарат, тем выше качество визуализации на финальном изображении. С помощью машинного обучения можно создать алгоритм, позволяющий получать необходимое качество снимка с использованием меньшего количества «линий». Формирование каждой «линии» занимает достаточно много времени, поэтому такие преобразования позволяют значительно сократить продолжительность всей процедуры.

Выступление Сергея Кастрюлина на opentalks.ai

- Как происходит машинное обучение для медицинской реконструкции изображения?

На первом этапе необходимо сформировать набор данных, достаточно полно представляющий всё многообразие анатомических особенностей пациентов и вариантов проведения исследований. Исходный набор содержит сырые данные, называемые k-пространство, собранные в ходе стандартных исследований пациентов, то есть при нормальной скорости их проведения. После этого, эмитируется процесс ускоренного сбора данных, в ходе которого некоторые «линии» удаляются.

Такой подход позволяет получать реалистичные данные в достаточном объеме без использования дополнительных ручных усилий. На следующем шаге из k-пространства могут быть получены изображения.

Из полностью собранных сырых данных изображения получаются в хорошем качестве, в то время как изображения, восстановленные из частично собранных данных, содержат характерные артефакты в виде концентрических колец по всему изображению.

После этого выбирается алгоритм машинного обучения, наиболее подходящий для решения данной задачи. Его цель – принять на вход искаженное за счет ускорения изображение и исправить его таким образом, чтобы оно было максимально похоже на изображение, полученное по полным данным.

В ходе процесса изменения параметров модели, который по-другому называется обучением, качество реконструкции постепенно увеличивается. Наблюдая за изменением метрик качества восстановления изображений и визуально оценивая эффективность работы модели, исследователь корректирует алгоритм путем изменения его компонентов, процесса обучения и вида подаваемых на вход данных.

Качество работы модели валидируют на отложенном множестве данных, эмитируя, таким образом, работу в реальных условиях. Этот процесс продолжается до тех пор, пока специалисты не будут удовлетворены качеством работы модели.

- Какие методы (подходы) вы применяете в обучении ИИ? Как проиcходил сам процесс?

В качестве основного подхода мы используем искусственные свёрточные нейронные сети. В последние годы это семейство алгоритмов позволяет наиболее успешно решать задачи обработки изображений, в том числе медицинских. Собирая несколько нейросетей в цепочку, мы получаем более мощную модель, способную последовательно восстанавливать качество снимков.

Вся цепочка обучается вместе, как единая неразрывная система, что позволяет добиваться максимального качества. Этот подход вдохновлен принципом работы классического алгоритма CSENSE, который применялся для ускорения МРТ задолго до популяризации свёрточных нейронных сетей.

Мы также принимаем во внимание особенности физики процесса формирования сырых данных, известные закономерности в них. Дополнительная информация обогащает исходные данные, позволяя алгоритмам более успешно выполнять свою работу.

Презентация Nicola Pezzotti (главный автор данной работы и статьи) на NeurIPS’19. Слайд с перечислением авторов. Nicola отвечает на вопросы из зала

- В декабре 2019 года на ведущей конференции по искусственному интеллекту NeurIPS в Ванкувере в Канаде подводились итоги соревнования по обучению ИИ работать с МРТ. Расскажите, пожалуйста, о нем поподробнее. Сколько времени оно длилось? Чем оно отличалось от подобных мероприятий?

Процесс МРТ условно можно разделить на два этапа: формирование изображения и его обработка. В отличие от других соревнований, где требуется интерпретировать изображения, то есть сделать классификацию, детекцию, сегментацию, в этом конкурсе нашей задачей было усовершенствовать именно процесс формирования снимка. Важной особенностью соревнования также являлось то, что в финальной оценке результатов принимали участия практикующие радиологи. Группа из 7 специалистов внимательно изучала и оценивала решения, показавшие наилучшие результаты по автоматическим метрикам оценки качества. Победители соревнования выбирались на основании оценок экспертов.

Соревнование длилось около года. За это время любой желающий мог получить доступ к данным и предоставить на рассмотрение свое решение. На создание алгоритма мы потратили около 6 месяцев.

Фотография из зала с презентации Nicola Pezzotti с изображением победителей: Philips Researchна первом месте в треках Multi-coil 4x и 8x

Решению каких проблем посвящен исследовательский проект fastMRI?

- Ускорение МРТ позволяет решить сразу ряд значимых проблем. Во-первых, увеличение доступности МРТ исследований улучшает клинический опыт пациента, поскольку более доступные методы точной диагностики повышают шансы корректной постановки диагноза. Во-вторых, это улучшает впечатление пациента от лечения. Например, пациенту, испытывающему боль, не потребуется проводить много времени внутри сканера. Не стоит забывать, что это также упростит работу персонала больницы за счет сокращения количества повторений, неудавшихся вследствие случайного движения исследований. Более того, увеличение пропускной способности сканеров должно привести к уменьшению финансовых издержек на лечение как для пациентов, так и для клиник.

Стандартная процедура МРТ включает в себя сбор «сырых» данных, в которых содержится достаточно много нерелевантных элементов. Организаторы конкурса предложили участникам создать алгоритм, который позволил бы воссоздавать качественное МР-изображение из меньшего количества «сырых» данных.

Какая из поставленных была самой сложной?

- Организаторы предложили два варианта ускорения: в 4 и 8 раз. Также участникам было предложено работать с данными, собранными с помощью одной или нескольких магнитных катушек. На самом деле, приборы с одной катушкой практически не используются. Организаторы сконструировали эти данные из данных для нескольких катушек. Это было сделано для того, чтобы облегчить начало работы для участников, не имеющих большого опыта работы с МРТ изображениями. В свою очередь, вариант с несколькими катушками намного приближен к клинической практике, но и более сложен в освоении.

Также несложно догадаться, что чем сильнее ускорение, тем сложнее сохранять приемлемое качество, но и ценность такого ускорения также увеличивается. Мы изначально решили сконцентрироваться на наиболее сложном, но полезном для практики сочетании – несколько катушек, ускорение в 8 раз. Ускорение в 4 раза также было не простым, однако это не помешало нашей команде занять первое место в обоих треках.

Во сколько раз Вам удалось ускорить процесс?-

- Конкурс «FastMRI challenge» проводился в трех номинациях: «Single-coil 4x» (четырехкратное ускорение при наличии одной катушки томографа), «Multi-coil 4x» (четырехкратное ускорение при наличии нескольких катушек томографа) и “Multi-coil 8x” (восьмикратное ускорение при наличии нескольких катушек томографа). При этом клинически релевантными можно считать последние две номинации (Multi-coil).

Нашей команде удалось занять первое место в обеих Multi-coil номинациях. Важно отметить, что при финальной оценке изображений учитывалась не только скорость их получения, но и качество визуализации.

Ваша компания работала в составе междисциплинарной команды, включающей экспертов и техников в области ИИ и МРТ и клинических партнеров. Кто вместе с вами участвовал в работе?

- В состав команды входили специалисты Philips и Медицинского центра при Лейденском университете (LUMC).

Как происходила оценка результатов?

- Оценка результатов производилось в 2 этапа. Сначала измерялся индекс структурного сходства (SSIM) полученных снимков с эталонным изображением (сформированным с помощью традиционного МРТ). Далее четыре результата, оказавшихся лучшими по этому критерию, оценивались панелью из семи радиологов, которые давали экспертную оценку качества визуализации и определяли, насколько снимки могли бы пригодиться для клинических целей.

Что Вы в конечном итоге придумали?

- Наше решение вобрало в себя накопленные знания о классических алгоритмах восстановления изображений Compressed SENSE, физике процесса МРТ сканирования и глубоком обучении. Наша модель представляет собой каскад свёрточных нейронных сетей, последовательно улучшающих качество снимка на основании изображений, полученных ранее, а также специфической информации о том, как устроены сырые данные и том, что в них изменилось в процессе ускорения. Наше решение позволяет работать с широким спектром величин ускорения, для разных приборов и контрастов.

Какой вклад был сделан именно специалистами Филипс?

- Специалисты Philips и Медицинского центра при Лейденском университете (LUMC) работали сообща, четко определить сферу деятельности каждого члена коллектива достаточно сложно.

- Какие ценности для пациентов и для врачей несет ваше решение в области визуальной оценки качества изображения?

Время, сэкономленное на процедуре, врачи МРТ и технологи могут уделить другим важным аспектам: подготовке пациента к процедуре, обеспечению безопасности, выписке назначений. Кроме того, сокращение времени исследования улучшает опыт пациентов и делает МРТ доступным для людей, которые испытывают болевые ощущения и не могут долго оставаться неподвижными. Решение позволит клиникам повысить эффективность и снизить уровень дискомфорта МРТ для пациентов.