Диагностические системы на базе искусственного интеллекта могут быть уязвимы для кибератак
В исследовании, опубликованном недавно в журнале Nature Communications, изучалось, могут ли фальсифицированные изображения обмануть модель искусственного интеллекта, разработанную для диагностики рака молочной железы.
Американские ученые из Питсбургского университета смогли смоделировать атаку, которая фальсифицировала изображения маммограммы, заставив модель, а затем и экспертов-людей, сделать неверные выводы.
"Этим исследованием мы хотим показать, что такой тип атаки возможен, и он может привести к тому, что модели искусственного интеллекта поставят неправильный диагноз, что является большой проблемой для безопасности пациентов, - сказал один из авторов исследования доцент кафедры радиологии, биомедицинской информатики и биоинженерии Шаньдун Ву. - Понимая, как такие модели ведут себя в условиях атак преступников в медицинском контексте, мы можем начать думать о том, как сделать эти модели более безопасными и надежными".
Одним из способов измерения такой безопасности является оценка поведения модели искусственного интеллекта перед лицом кибератак, а именно фальшивых изображений, которые предназначены для того, чтобы обмануть модели, используя подстроенные изображения или другие входные данные.
В своем исследовании ученые использовали изображения маммограмм для обучения алгоритма, позволяющего отличать положительные случаи рака молочной железы от отрицательных. Затем они разработали генераторы для создания намеренно искаженных данных путем "вставки" раковых областей в негативные изображения или "удаления" областей из позитивных изображений.
В итоге модель была обманута в 69,1% случаях вставки поддельных изображений.
Затем исследователи пригласили пять человек-рентгенологов, которые должны были определить, являются ли изображения настоящими или поддельными. Результаты были разными - в зависимости от человека, точность определения подлинности изображений варьировалась от 29% до 71%.
Ученые отметили, что изображения с высоким разрешением имели больше шансов обмануть модель, да и людям было сложнее распознать подделку.
Они также указали, что мотивами для атак противника являются денежная выгода, страховое мошенничество и видимость благоприятных результатов клинических испытаний.
Команда подчеркнула важность усиления мер безопасности в этом отношении.
"Одно из направлений, которое мы изучаем, - это "обучение пониманию подделки" для модели искусственного интеллекта, - сказал Ву. - Это включает в себя предварительную генерацию "неправильных" изображений и обучение модели тому, что эти изображения являются фальшивыми".
Помимо проблем безопасности, поднятых в статье в Nature Communications, эксперты отмечают трудности, связанные со сбором масштабных данных, получением разнообразной информации и точной маркировкой.
