Google разработала чат-бот для здравоохранения, похожий по функционалу на ChatGPT

Технологические компании уже довольно давно экспериментируют с крупными языковыми моделями для систем искусственного интеллекта (ИИ). Недавно Google разработала свою систему MedPaLM, предназначенную специально для ответов на медицинские запросы.

Эта система от Google Research и DeepMind представляет собой крупную языковую модель с открытым исходным кодом, предназначенную для медицинских целей. Она тестируется на данных из MultiMedQA, недавно представленном базовом решении для ответов на медицинские вопросы с открытым исходным кодом. Оно объединяет HealthSearchQA, новую базу данных медицинских вопросов, задаваемых в Интернете в свободной форме, с шестью существующими открытыми базами данных ответов на вопросы, охватывающими профессиональные медицинские экзамены, исследования и запросы потребителей. Эта базовая модель также включает методологию оценки ответов человеческих моделей по нескольким параметрам, включая фактичность, точность, потенциальный вред и предвзятость.

MedPaLM использует наборы данных для вопросов с несколькими вариантами ответов, а также для более длинных ответов на вопросы, заданные медицинскими специалистами и непрофессионалами. К ним относятся наборы данных по клиническим темам MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA и MMLU. Кроме того, для улучшения MultiMedQA был добавлен новый набор данных курируемых медицинских запросов с частым поиском под названием HealthSearchQA. Набор данных HealthsearchQA, состоящий из 3375 часто задаваемых потребительских вопросов, был сформирован с использованием исходных медицинских диагнозов и связанных с ними симптомов. Всем пользователям, которые вводили исходные фразы, показывались общедоступные ответы на часто задаваемые вопросы, полученные с использованием исходных данных и созданы поисковой системой.

В своем исследовании ученые рассматривали три варианта моделей PaLM и Flan-PaLM разного размера: 8 миллиардов параметров, 62 миллиарда параметров и 540 миллиардов параметров. При этом Flan-PaLM по-прежнему имела определенные ограничения и плохо справлялась с медицинскими проблемами потребителей, а человеческая оценка выявила значительные пробелы в ответах.

Чтобы решить эту проблему и сделать Flan-PaLM более адаптируемым к медицинской сфере, разработчики скорректировали подсказку с инструкциями, в результате чего появилась модель MedPaLM.

Группа врачей-экспертов определила, что 92,6% ответов MedPaLM соответствовали ответам, сгенерированным врачами (92,9%), в то время, как только 61,9% длинных ответов Flan-PaLM были признаны соответствующими научному определению. Кроме того, как и в случае с Flan-PaLM, 5,8% ответов MedPaLM были оценены как потенциально способствующие негативным последствиям, что сравнимо с ответами, подготовленными врачами (6,5%). Для FlanPaLM соответствующий показатель равнялся 29,7% ответов.

Google - не первый технологический гигант, решившийся на внедрение ИИ в здравоохранение. Microsoft тесно сотрудничает с командой OpenAI, чтобы использовать такую технологию для повышения эффективности работы медиков. В ноябре 2022 года Meta AI также представила программу Galactica на основе ИИ, предназначенную для поддержки академических исследователей, создавая исчерпывающие обзоры литературы и записи в Wiki по любой теме. Однако она потерпела неудачу из-за ненадежных результатов.

* ChatGPT - чат-бот с искусственным интеллектом, способный работать в диалоговом режиме и поддерживающий запросы на естественных языках.