"Черный ящик" искусственного интеллекта: как получить не только диагноз, но и его контекст
Большинство доступных средств диагностики, использующих искусственный интеллект (artificial intelligence, AI), функционируют как "черный ящик", что означает, что результаты не включают объяснения причин, по которым система считает, что у пациента есть определенное заболевание. И, хотя технологии искусственного интеллекта являются чрезвычайно мощными и эффективными, внедрение этих алгоритмов в здравоохранение идет медленно, поскольку врачи и регулирующие органы не могут проверить результаты их работы. Однако новый тип алгоритма под названием "объяснимый искусственный интеллект" (explainable AI, XAI) может решить эту проблему.
Объяснимый AI, который также называют прозрачный AI, представляет собой систему, в которой люди могут с легкостью понять действия искусственного интеллекта. Цель — добиться ясного понимания того, как и почему такая система принимает те или иные решения. В результате все признаки указывают на то, что если технологии XAI начнут быстро внедряется в систему здравоохранения, а медицинские организации будут действительно использовать подобные продвинутые средства диагностики.
Для многих областей, не связанных со здравоохранением, характеристика AI как "черного ящика" является вполне допустимой, а возможно даже желательной характеристикой, поскольку позволяет компаниям хранить свои "драгоценные" алгоритмы в качестве коммерческой тайны. Например, тип искусственного интеллекта, называемый глубоким обучением, находит связи и закономерности без понимания человеком того, какие части данных являются наиболее важными для принятия решения. Полученные результаты подтверждают правильность алгоритмов, и для многих приложений искусственного интеллекта существует лишь небольшой риск того, что он не будет продолжать давать правильный ответ.
Но для таких областей, как здравоохранение, где ошибки могут иметь катастрофические последствия, аспект "черного ящика" искусственного интеллекта препятствует врачам и регуляторам отрасли доверять ему. И, возможно, по уважительной причине. Если алгоритм искусственного интеллекта не обучен надлежащим образом с использованием соответствующих наборов данных, и при этом мы не можем понять, как он принимает решение, мы не можем быть уверены, что он будет правильно диагностировать пациентов.
По этим же причинам характеристика искусственного интеллекта как "черного ящика" также является проблематичной для регулирующих отрасль здравоохранения органов, которое в настоящее время проверяет алгоритмы для выдачи разрешения на их использование. Кроме того, многие инновации, связанные с искусственным интеллектом, также проходят через регуляторов, и в них между ответом системы и окончательным диагнозом или планом действий для пациента стоит врач, принимающий решение и несущий за него ответственность.
Например, в своем последнем проекте руководства, опубликованном 28 сентября с.г., американский регулятор отрасли здравоохранения (FDA) продолжает требовать, чтобы врачи имели возможность провести независимую проверку обоснованности рекомендаций программного обеспечения на базе AI. В этом случае программное обеспечение будет регулироваться в упрощенном и быстром режиме, а врачи могут проверить правильность ответов алгоритмов. Однако при использовании таких алгоритмов, как глубокое обучение, врачи сталкиваются с проблемой отсутствия контекста, объясняющего, почему был выбран диагноз.
Таким образом, алгоритмы XAI, разрабатываемые для медицинских приложений, могут служить обоснованием их результатов в понятном человеку формате. Многие из алгоритмов XAI, разработанных на сегодняшний день, относительно просты, как и деревья принятия решений, и могут быть использованы только в ограниченных обстоятельствах. Но по мере их дальнейшего совершенствования они, вероятно, будут доминирующими алгоритмами в здравоохранении.
