Исследователи сомневаются, что Babylon Health AI лучше «живого» врача

В июне текущего года мы писали, что разработанная в фирме Babylon Health технология на базе искусственного интеллекта (artificial intelligence, AI) с успехом выполнила стандартный тест, который в Великобритании проходят медицинские специалисты перед получением разрешения работать врачом общего профиля. Причем результаты тестов (81%) были лучше, чем у людей. Отдельный тест, где Babylon Health работала со специалистами Королевского медицинского центра, Стэндфордского университета и компанией Yale New Haven Health, показал примерно такие же результаты. Здесь AI-алгоритм соревновался с семью врачами общего профиля, анализируя 100 наборов симптомов, и показал результат в 80%.

Но на днях авторитетный журнал "The Lancet" опубликовал письмо, в котором авторы - врач и двое ученых из сферы медицинской информатики - утверждают, что использованная при последнем тесте методология вызывает сомнения. "Анализ безопасности использования цифровых систем проверки симптомов (symptom checkers) показывает, что существует возможность, что этот сервис может работать значительно хуже", утверждают они. Методология проверки симптомов вызывает вопросы, поскольку она имеет мало отношения к реальному миру, так как данные в последнем тесте вводились исключительно врачами, а не пациентами или другими медицинскими специалистами.

По мнению авторов,

Компания не предоставила доказательств, что эта система - Babylon Diagnostic and Triage - будет работать лучше врачей в любой реальной ситуации и существует большая вероятность, что результаты в таком случае будут значительно хуже.

И, хотя авторы высоко оценили открытость Babylon Health в своих исследованиях, они считают, что необходимо существенно усовершенствовать метод подобной оценки. Причем, по их словам, "такая методология должна лечь в основу нормативных документов, поскольку в настоящее время в этой сфере практически отсутствует надзор регуляторов отрасли".

Babylon Health обещала отреагировать и ввести дополнительные улучшения в свою методику.