Дополненная реальность в микроскопе

Сегодня основным инструментом патологов при диагностике заболеваний и визуализации тканей является световой микроскоп. И это является одним из основных барьеров для широкого распространения методов на базе искусственного интеллекта в этой сфере.

Недавно компания Google опубликовала информацию о своей новой разработке, которая представляет собой микроскоп на базе технологий дополненной реальности, которая, по мнению специалистов компании, может помочь ускорить и упростить адаптацию программных продуктов на базе алгоритмов машинного обучения в патологии во всем мире. Описанный там прибор объединяет модифицированный световой микроскоп и компьютерный блок, где при помощи нейронной сети анализирует наличие признаков раковых изменений клеток. Система затем выделяет подозрительные участки в реальном времени прямо в поле зрения микроскопа, накладывая компьютерное изображение на реальную картинку исследуемой ткани.

Важно то, что в такую систему можно переделать любой световой микроскоп, которые можно найти почти в каждой в больнице или клинике, кроме того, в ней используются недорогие и широкодоступные компоненты. Еще одним достоинством является тот факт, что при использовании этого устройства у патолога отпадает необходимость в анализе всего слайда, цифровая версия которого была проанализирована.

"Дополненный" микроскоп обрабатывает изображение при помощи глубокой сверточной нейросети, архитектура которой была разработана в Google, и которая уже сейчас успешно выявляет некоторые виды рака. Используемые в устройстве современные компоненты и модели глубокого обучения позволяют применять на этой платформе широкий ряд заранее "натренированных" моделей различных типов, которые предназначены для решения различных проблем, таких как обнаружение объектов, количественная оценка и классификация.

Работа устройства, которое существует пока только как прототип, заключается в следующем: камера захватывает изображение, которое видит специалист в окуляре микроскопа, и в реальном времени передает его в вычислительный модуль. Причем все перемещения и увеличения изображения автоматически воспроизводятся в системе обработки, поскольку камера делает фотографии с частотой около 10 кадров в секунду, что вполне достаточно для качественной работы всей системы. Нейронная сеть анализирует полученную информацию, формируя карту, на которой каждому пикселю присвоена коэффициент вероятности того, что здесь произошли изменения, связанные с раком. Компьютер затем создает наложенное изображение, где подозрительные области выделены линией, при этом можно просматривать непосредственно карту риска. Причем все это пользователь видит через привычные ему аналоговый микроскоп.

Интересно, что система может выводить различную визуальную информацию в поле зрения микроскопа, включая текст, стрелки, контуры, тепловые карты и анимацию.

Тестирование показало эффективность инструмента, при этом распознавание успешно проходило на рабочих препаратах различного качества, что важно для клинического использования. При тестировании изобретения использовали препараты с метастазами рака молочной железы в лимфоузлах (399 образцов) и рака предстательной железы (285 образцов).