Анализ интонации голоса и голосовые биомаркеры

В мае 2018 года команда EverCare посетила очень интересное и довольно необычное мероприятие под названием The future of healthcare (Будущее здравоохранения). 

В данном видео мы расскажем о компании Beyond verbal. Данная компания занимается анализом интонации голоса и голосовыми биомаркерами

Сайт компании: http://www.beyondverbal.com

- Здравствуйте, уважаемые коллеги, сегодня мы с EverCare находимся на конференции “Будущее Здравоохранения”. И сегодня у нас в гостях Ювал Мор, основатель и генеральный директор компании Beyond Verbal, которая предоставляет решения в области анализа эмоций человека.

- Ювал, благодарим Вас за то, что согласились уделить время для нашего интервью. Расскажите нам, пожалуйста, немного о том, какая идея лежит в основе создания вашей компании?

- Идея, стоящая за тем, чем мы занимаемся в Beyond Verbal, зародилась в наблюдении за общением между маленькими детьми и их родителями. Если вы обратите внимание на детей в очень юном возрасте, ещё до того, как их речь стала осмысленной, прежде, чем они могут понимать слова, вы заметите, насколько хорошо понимают друг друга родитель и ребенок. Дети очень чутко реагируют на поведение родителей. Глядя на это, наш главный научный сотрудник понял, что в их общении есть что-то ещё, что-то в самой атмосфере того, как родитель говорит, и как ребёнок это воспринимает, что не имеет ничего общего со словами, скорее с интонацией голоса. Итак, существует два канала общения: первый состоит в общении между нашими разумами, второй - между нашими прекогнитивными сознаниями. Это то самое, первичное, основополагающее сознание, что зародилось прежде развития сознания более высокого порядка. И в основе всего лежит тон голоса.

- Как именно Вы проводите свои исследования интонации голоса? Какими Вы пользуетесь технологиями?

-  Мы используем комбинацию искусственного интеллекта (ИИ) и машинного обучения, а также простейшие средства связи. Мы считаем, что музыка и звуки голоса имеют схожее влияние на человеческий мозг. Их влияние на слушателя может быть успокаивающим, но также может привести его в состояние напряжения. Мы используем технологии, которые извлекают различные акустические признаки, существуют тысячи комбинаций. ИИ и технологии сопоставления позволяют соотносить звуки голоса с эмоциями, а позднее мы поговорим о том, как мы соотносим их с состоянием здоровья. И это действительно захватывающе.

- Относите ли Вы эти эмоции к каким-то определенным категориям, или существует некая шкала, баллы?

- Мы используем оба метода. Есть некоторые значения, которые мы измеряем с помощью шкалы. Например, степень активности: от полусонного состояния до активного. Существует и шкала валентности, она измеряет самочувствие человека от крайне негативного до крайне позитивного. Также мы применяем метод распределения эмоций по категориям: грусть, ощущение счастья, возбуждение, безразличие, любовь. Наша программа обрабатывает и цифровые данные для шкал, и некоторые специфические группы эмоций, полученные в результате анализа.

- Прошла ли ваша технология клиническую или психологическую валидацию?

- Со стороны здравоохранения - разумеется, наша технология прошла клиническую проверку. В том, что касается эмоциональной стороны, мы проходим большое число проверок. В настоящее время мы занимаемся подтверждением результатов исследования.

- А есть ли какие-либо публикации, касающиеся этого вопроса?

- Есть несколько публикаций, подготовленных исследовательскими институтами. В нашем штате есть группа психологов, которую мы называем психо-акустической или маркировочной командой. У каждого члена этой команды есть докторская или магистерская степень в области психологической экспертизы. Они слушают записи различных голосов, составляют карту различных эмоций и затем мы сравниваем полученные результаты с теми, что выдала программа и проверяем их точность.

- Как Вы извлекаете коммерческую прибыль из вашего продукта? Какова ваша бизнес-модель?

- Наша бизнес-модель основана на лицензировании технологий. Сейчас существует облачная версия нашей программы. Вы можете зайти на наш веб-сайт или на сайт разработчика, зарегистрироваться и получить пробную, тридцатидневную версию продукта. По истечении этого срока вы решаете, хотите ли вы приобрести лицензионную версию или нет. Мы стремимся заручиться поддержкой новых разработчиков в поиске альтернативных сценариев использования нашего продукта.

- Как врачи и психологи могут применить полученную информацию? Влияет ли она на диагноз, как она помогает в работе?

- Результаты аналитической обработки тона голоса мы подразделяем на три основных категории. Первая категория - распознавание эмоций, вторая - развитие эмоций в течение времени или эмоциональное равновесие, и третья категория - голосовые биомаркеры, она заключается в создании прямой связи между особенностями голоса и определенными заболеваниями.

- Например?

- В совместном проекте с клиникой Mayo в Соединённых Штатах мы выяснили, что, используя анализ интонаций голоса, можно определить наличие или отсутствие у пациентов сердечно-сосудистых заболеваний. Если стандартное отклонение в единицах голосовых биомаркеров превышает значение в 4,6, это указывает на большую вероятность наличия ИБС.

- Вы проводите исследования только с носителями английского языка?

- Не только, мы сотрудничаем с одной из ведущих китайских клиник с целью выяснить, будут ли различаться результаты, полученные от носителей разных языков. Также в Израиле мы проводим испытания протокола с русским языком и ивритом. В итоге мы сможем показать, что эти технологии не зависят от языка. А теперь подумайте, что это означает для дистанционного медицинского обслуживания, стационара на дому. Появляется возможность пройти обследование для людей, страдающих от каких-либо заболеваний и живущих далеко от какого-либо медицинского центра. Они могут воспользоваться мобильным приложением и определить, нужно ли им в срочном порядке обратиться в больницу или нет. В этом феноменальный потенциал голосовых биомаркеров. И если вы соедините все три категории: эмоции, эмоциональная динамика и состояние здоровья, вы получите полную картину данных относительно вашего пациента. И уже на основании этого, доктор принимает решение о том, как ему дальше действовать.

- Планируете ли вы расширить список заболеваний, на наличие которых указывают голосовые биомаркеры? К примеру, болезни мочеполовой системы, печени, системы пищеварения?

- Конечно, это входит в наши планы. Мы сотрудничаем со страховыми компаниями, в которых запись обращений пациентов осуществляет консультационная служба. Обращаются в эту службу люди с различными заболеваниями, что дает нам богатую почву для исследований. В среднем, на каждого пациента приходится от 20 до 100 записей звонков, что является достаточным для наших исследователей. Благодаря истории записей звонков мы можем следить за развитием заболеваний, что является уникальным опытом. Мы можем одновременно исследовать множество различных заболеваний, в то время как в процессе клинических испытаний, которыми мы занимались до этого, мы были сосредоточены только на каком-либо одном из них.

- Какое число пациентов Вам необходимо для исследования? Сколько пациентов нужно для поиска взаимосвязи с каким-либо одним заболеванием?

- Это очень интересный вопрос. С точки зрения Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США, достаточно 200-300 пациентов. Если вы предоставляете хорошие результаты, достаточно такого количества. Но для наших исследований мы предпочитаем брать гораздо большее количество человек, так как это передовые технологии. Например для исследования, связанного с ЗСН, которое мы проводим совместно со страховой компанией, мы взяли практически две тысячи пациентов. Некоторые из них нужны нам для изучения, тестирования, а некоторые для подтверждения результатов.

- Чем Вы пользуетесь, чтобы уточнить диагноз? Находите ли вы соответствие между голосовыми биомаркерами и биохимическими маркерами или просто ставите диагноз?

- В настоящее время мы работаем в нескольких направлениях. Если раньше мф могли только проанализировать голос человека и понять, есть ли у него ишемическая болезнь сердца или нет. Сейчас мы можем определить степень заболевания. Например, в случае с застойной сердечной недостаточностью (ЗНС) мы также смотрим на тяжесть заболевания. Иными словами, в каждом виде заболевания мы исследуем разные вещи. Обычно мы не устанавливаем взаимозависимость голосовых биомаркеров и биохимических маркеров, но можем отслеживать, как прогрессирует заболевание. Возьмём для примера эту телефонную консультационную службу. У нас есть от 20 до 30 записей каждого пациента, мы можем проследить то, как развивается заболевание. Если происходит острое нарушение в течении болезни, мы, вероятно, можем найти соответствующие признаки в голосе больного. В том, что касается лечения, благодаря доступу к медицинской документации и историям болезней мы можем проверить, какие лекарства получает больной, и как эти медикаменты влияют на ход лечения. У нас есть очень хороший консультационный медицинский совет, и мы советуемся с ними относительно того, что необходимо сделать.

- Как ваши технологии и ваш продукт могут изменить здравоохранение?

- Я считаю, что эти технологии окажут невероятное воздействие на здравоохранение. Потому что всё, что нужно - это воспользоваться обычным мобильным телефоном. Так как для анализа используется только голос, необходимо разрешить программному обеспечению следить за вашими телефонными звонками в фоновом режиме. Приложение не понимает слов, поэтому с точки зрения приватности ваших разговоров ничего не меняется. Приложение может сигнализировать каждый день по утрам: зелёный свет - всё в порядке, жёлтый - возможно вам нужно пройти проверку, красный свет не означает, что вам срочно нужно бежать в больницу, но что нужно связаться с вашим лечащим врачом. И, возможно, врач получит такой же сигнал, те же самые результаты. Наше приложение поможет сохранить множество жизней, мгновенно обрывающихся из-за сердечной недостаточности. Эти технологии могут помочь путешествующим или людям, живущим в отдалённых местах. Безусловно, эффект, который они произведут на здравоохранение будет невероятным. Именно поэтому все работники нашей компании с энтузиазмом начинают каждый рабочий день.

- Благодарю Вас! И последний вопрос: что бы Вы пожелали русским врачам, русской аудитории?

- Главное, что мне хотелось бы пожелать, скорее нам в целом, нежели только русским врачам, - это расширять возможности сотрудничества с Россией. В нашей компании есть много врачей, которые приехали из России, поэтому нам бы хотелось больше сотрудничать, участвовать в совместных проектах. Возможность улучшить систему здравоохранения в России с помощью наших технологий кажется нам прекрасной перспективой. Многие люди в России живут в удаленных уголках, но ведь сейчас почти каждый рождается с мобильным телефоном в руках. Так что, возможность использовать наши технологии есть почти у каждого, поэтому в наши планы входит провести совместные исследования с российскими специалистами в области здравоохранения, и тем самым, улучшить саму систему.