Могут ли программные средства языка жестов помочь улучшить уход за глухими пациентами?
Многие глухие люди столкнулись с проблемой перехода на видеоконсультации во время пандемии, поскольку лишь немногие из них учитывают их потребности. Некоторые пропустили прием по поводу анализов или вакцинации, на которые часто приходится записываться только по телефону. Другие столкнулись с отсутствием точной информации.
Однако хуже всего пришлось госпитализированным пациентам, которые пользуются языком жестов. В разгар пандемии пациентам не разрешали пользоваться услугами переводчика, что означало, что у них было очень мало возможностей для общения с медицинским персоналом.
Хотя некоторым глухим людям помогли письменные заметки, так было не всегда. Те, кто родился глухим или потерял слух в раннем возрасте, обычно говорят на языке жестов как на своем родном языке и не всегда могут читать.
Без доступа к переводчику неграмотные глухие пациенты могут с трудом получать всю необходимую информацию - и эти проблемы усугубляются во время Covid-19.
SignLab Amsterdam, исследовательская лаборатория Амстердамского университета, работает над возможным решением этой проблемы, создавая инструмент машинного перевода, который преобразует письменную речь в язык жестов. Технология не призвана заменить человека-переводчика, но она может сыграть важную роль в ситуациях, когда переводчики недоступны. Хотя более сложная коммуникация пока невозможна, этот инструмент представляет собой технологический скачок вперед.
Технология представляет собой анимированный аватар, который может переводить на язык жестов основные фразы. Например, врач может спросить, есть ли у пациента определенные симптомы, или медсестра может сказать пациенту, что врач скоро придет. Хотя более сложные коммуникации пока невозможны - например, информированное согласие еще не скоро появится - этот инструмент представляет собой технологический скачок вперед.
Уже существуют некоторые приложения, в которых люди переводят текст на язык жестов, но предложения должны быть записаны полностью. Даже в закрытой области, например, в больнице, существует бесконечное множество вариаций предложений, и записывать их одно за другим не представляется возможным. Поэтому разработчики пытаются динамически генерировать предложения. Это во многом неисследованная территория.
Инструмент машинного перевода SignLab Amsterdam преобразует письменную речь в язык жестов, который отображается на аватаре.
Чтобы понять, почему это так сложно, важно знать, что жестовые языки функционируют совсем иначе, чем разговорные. Вы не можете просто перевести предложение слово в слово в строку последовательных знаков. Все языки жестов - это разные языки со своими правилами, и знаки адаптируются в зависимости от предложения.
Программа SignLab работает следующим образом: она берет текст и преобразует его в "глоссу" - список соответствующих знаков в текстовой форме. Например, если текст спрашивает: "Ты закончил есть?", глосса будет звучать так: "ты, есть, закончил", плюс поднятие брови, чтобы показать, что это вопрос.
Как и письменные языки, жестовые языки имеют фонемы. Однако если фонемы письменных языков представляют собой звуки отдельных слогов, то знак состоит из комбинации формы руки, расположения, ориентации, движения и нерукотворных особенностей - фонем сами по себе. Код SignLab берет фонетическое представление знака и превращает его в анимацию.
Несмотря на свою оригинальность, инструмент SignLab еще не достиг той стадии, когда его можно использовать в реальных клинических условиях.
Хотя разработчики признают, что исследования могут занять годы, они надеются на их потенциал в будущем. В среднесрочной перспективе целью является улучшение доступа к информации - например, предоставление глухим людям возможности доступа к определенным веб-сайтам на их родном языке или перевод информации на железнодорожной станции. В более долгосрочной перспективе возможности применения могут быть обширными.
