Цифровая перчатка, которая переводит язык жестов в речь

Биоинженеры Калифорнийского университета в Лос-Анжелесе разработали устройство, похожее на перчатку, которое может в режиме реального времени переводить американский язык жестов* на английскую речь с помощью приложения для смартфона. Их исследования опубликованы в журнале Nature Electronics.

"Мы надеемся, что это откроет людям, использующим язык жестов, простой способ напрямую общаться с людьми, не понимающих язык глухонемых, не прибегая к услугам переводчика, - говорит доцент биоинженерии университета Калифорнии Джун Чен. - Кроме того, мы надеемся, что это поможет большему количеству людей самостоятельно научиться языку жестов".

Система включает в себя пару перчаток с тонкими, растягивающимися датчиками, которые расположены на каждом из пяти пальцев. Эти датчики, изготовленные из электропроводящих нитей, регистрируют движения рук и расположение пальцев, которые обозначают отдельные буквы, цифры, слова и фразы.

Затем прибор превращает движения пальцев в электрические сигналы, которые посылаются на небольшой электронный модуль размером монету, расположенный на запястье. В свою очередь этот модуль передает эти сигналы по беспроводной связи на смартфон, который переводит их в разговорные слова со скоростью около одного слова в секунду.

При испытаниях системы исследователи также добавили к лицам тестеров приклеиваемые датчики - между бровями и с одной стороны рта - для фиксации мимики, которая является частью американского языка жестов.

Подобные системы уже разрабатывались ранее (например, в 2017 году в Калифорнийском университете в Сан-Диего), но они были или громоздкими и тяжелыми устройствами, или были неудобны в ношении.

Новое устройство изготовлено из легких и недорогих, но долговечных, эластичных полимеров. Электронные датчики также очень гибкие и недорогие.

При тестировании устройства исследователи работали с четырьмя глухими людьми, использующими американский язык жестов. Носители повторяли каждый жест рукой 15 раз. Настраиваемый алгоритм машинного обучения превращал эти жесты в буквы, цифры и слова, которые они изображали. Система распознала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9.

Коммерческая модель, по словам Джуна Чена, основанная на этой технологии, потребует дополнительного словарного запаса и еще более быстрого перевода, сказал Чен.

* Американский язык жестов - язык жестов для глухонемых, который используется в Соединенных Штатах Америки и Канаде. Другие языки глухонемых используются по всему миру, включая Малайзию, Германию, Австрию, Норвегию, Финляндию, Россию.