Инвалиды по слуху теперь могут общаться дистанционно, используя искусственный интеллект

С потенциалом ИИ, проникающим во все аспекты нашей жизни, расширились возможности технологий, помогающих людям с нарушениями слуха. На рынке доступно множество носимых устройств с встроенным искусственным интеллектом, что облегчает жизнь людей с нарушениями слуха.

Потеря слуха - это состояние, затрагивающее тринадцать миллионов человек в России, причем, 300 тыс. из них — глухие. Хотя степень тяжести может варьироваться в зависимости от возрастной группы, есть данные, что снижение слуха занимает по частоте следующее место после болезней сердца и является одним среди самых распространенных физических недугов.

Современные инновационные компании предпринимают много усилий для улучшения качества жизни людей с нарушениями слуха и эффективности технологии слуховых аппаратов. Исследователи изучают, как искусственный интеллект может помочь персонализировать технологию слуховых аппаратов и предсказать риск глухоты в раннем возрасте или усовершенствовать форму автоматического распознавания речи для преобразования необработанного разговорного языка в беглый, хорошо читаемый, сопровождаемый грамотной пунктуацией текст. Российские разработчики тоже создают интеллектуальные цифровые девайсы для улучшения качества жизни глухих и слабослышащих.

Компанией «Сенсор-Тех», резидента Фонда «Сколково», для устройства распознавания речи «Чарли», функционирующего при помощи искусственного интеллекта разработана специальная функция дистанционного общения. Это новшество позволяет людям с нарушением слуха дистанционно работать и учиться. В условиях пандемии коронавируса это приобретает особую ценность, делая их жизнь более комфортной.

Например, лектор в ВУЗе во время своего выступления может положить «Чарли» рядом с собой, что позволит студентам с нарушением слуха, подключившимся к программе по специальной ссылке, читать расшифрованную речь преподавателя дома на экране смартфона или компьютера в режиме онлайн. Для работающих инвалидов по слуху достаточно иметь доступ к интернету, чтобы удаленно принять участие в рабочих встречах, совещаниях, конференциях.

Денис Кулешов, директор Лаборатории «Сенсор-Тех», преподаватель МГТУ им. Н.Э. Баумана: «В период карантина, когда очень многие переходят на режим удаленной работы и учебы, уходят на самоизоляцию, крайне важно поддержать и людей с инвалидностью. Поэтому мы в экстренном порядке сделали такую новую функцию для «Чарли». Я тоже планирую ей воспользоваться в самое ближайшее время. Все мои студенты в Бауманке переведены на удаленное обучение, в инклюзивных группах очень много глухих ребят. Надеюсь, что они оценят новинку».

Мы попросили Дениса Кулешова поподробнее рассказать об умном девайсе и других разработках компании.

Как давно ваша компания занимается ИИ?

Лаборатория «Сенсор-Тех» занимается разработками технологий на базе искусственного интеллекта с 2017 года. За это время мы создали несколько устройств, которые помогают людям с инвалидностью: устройство распознавания речи Чарли – для тех, у кого проблемы со слухом, умный помощник Робин – для тех, у кого проблемы со зрением и первый офтальмологический VR-симулятор SMW Pro, который имитирует все существующие болезни глаз.

Как пришла идея, создавать проекты именно для незрячих и глухих?

Наш учредитель – Фонд поддержки слепоглухих «Со-единение». Этот Фонд помогает людям с нарушенным слухом и зрением. Поэтому в команде «Сенсор-Тех» собраны специалисты именно в этом направлении. Наши проекты с одной стороны – это технические инновации, а с другой стороны простые и удобные для людей гаджеты, которые действительно могут им помочь и дать им новые возможности для самореализации.

С какого проекта все началось?

Наш первый серийный продукт – это умный помощник Робин для незрячих. Этот гаджет помогает незрячим людям ориентироваться в пространстве. Распознает предметы и объекты, сообщает расстояние до них, а также распознает лица людей. Также важно уточнить, что он работает без подключения к Интернету, что позволяет незрячему пользователю не зависеть от качества работы Сети и всегда чувствовать себя в безопасности. Робин распознает предметы дома (бытовые вещи, средства гигиены, посуда, компьютер, домашние животные и т.д.) и на улице (дорожные знаки, автомобили, автобусы и др.).

С какими трудностями столкнулись во время разработки?

Многие думают, что делать продукты с искусственным интеллектом не так сложно. На самом деле трудностей не вызывает только первый этап – когда нужно собрать рабочий макет. А вот дальнейшая работа по подготовке настоящего продукта для серийного производства – это целый набор самых разных трудностей.

 Практически все технологические «железные» проекты с ними сталкиваются. Это несовместимость компонентов, это необходимость подгонять софт под железо, это вопросы отказоустойчивости.

В нашем случае мы решали задачу создания гаджета, который бы распознавал объекты с помощью искусственного интеллекта без Интернета. Это было очень непросто, потому что все готовые решения имеют большое количество проблем. Фактически нам пришлось делать и электронику и писать наше специальное ПО, самим делать датасеты для разметки некоторых объектов. Поэтому трудностей было много, но нельзя сказать, что в нашем случае было что-то особенное. Все инновационные проекты пытаются прыгнуть выше головы, в этот момент и рождаются хорошие продукты.

Были ли какие-то интересные подсказки со стороны будущих потребителей, которые тестировали Вашу продукцию?

Конечно, прежде чем запустить серийное производство, мы отдавали устройства на тестирование фокус-группе людей с инвалидностью. Был интересный момент: изначально мы планировали оборудовать Робина GPS датчиком. Это немного утяжелило бы устройство, но позволило бы родственникам незрячего человека всегда понимать, где он. Нам казалось, что это очень важный элемент. Однако все участники фокус-группы сказали, что GPS им абсолютно не нужен, а вот вес устройства играет первостепенную роль. Так что от этой идеи мы отказались.

Если говорить о «Чарли», то на этапе тестирования с фокус группами в основном были вопросы, связанные с качеством распознавания, со скоростью вывода текста, с оптимизацией поддержки дисплеев Брайля для слепоглухих. Какие-то вопросы удалось решить, а вот, например задачу с повышением качества распознавания, пока полностью решить не получается. Это слабость всех современных систем распознавания речи, иногда некоторые слова система просто не понимает.

Расскажите об устройстве распознавание речи Чарли для кого оно создано?

Устройство распознавания речи Чарли создано для помощи людям, которые не могут слышать. Оно позволяет им прочитать то, что им говорят. Соответственно, они могут быть более независимы в общении, не прибегать к помощи третьих лиц для того, чтобы задать какой-то вопрос. Чарли также может использоваться слепоглухими людьми. Для этого к устройству необходимо подключить дисплей Брайля. Тогда слепоглухой человек сможет прочитать то, что ему говорят, и ответить с помощью брайлевской клавиатуры.

Почему устройство назвали иностранным именем Чарли?

В этом нет тайного смысла. Мы всей командой обсуждали, как можно назвать устройство так, чтобы это запоминалось и одинаково хорошо звучало на русском и на английском языках. Сошлись на названии Чарли.

Что из себя представляет устройство, как оно переводит устную речь текст?

Чарли – это «умный» микрофон. Внутри устройства расположен массив микрофонов, которые «слышат» речь человека на расстоянии до 2 метров. Специальная нейронная сеть переводит услышанные слова в текст и выводит на экран любого устройства с помощью Интернета.

Сколько времени ушло на его разработку? Какие функции возложены на Чарли? Что из себя представляет само устройство с технической точки зрения?

Разработка Робина и Чарли началась в одно время – в августе 2017 г., когда стартовал проект Национальной технологической инициативы. За 2,5 года нам удалось пройти путь от идеи до серийного продукта. Это достаточно быстрый срок для технологических стартапов.

Главная функция Чарли – расшифровывать текст и выводить его на экран. И устройство отлично это делает. Также гаджет получил новую функцию дистанционного общения. Благодаря ей неслышащий пользователь может работать или учиться дистанционно. Например, преподаватель в институте может положить «Чарли» рядом с собой во время лекции, а студенты с нарушением слуха, подключившись к программе по специальной ссылке, будут читать расшифрованную речь лектора дома на экране смартфона или компьютера в режиме онлайн.

Какие могут быть сценарии использования Чарли?

Устройство можно использовать дома - для общения с близкими. На встрече с друзьями. В общественных местах – для эффективной коммуникации со всеми клиентами, например, в банках, в больницах, на вокзалах, в центрах «Мои документы», в ВУЗах и т.д.

Как его можно использовать дома, для повседневной жизни?

Можно просто установить Чарли на столе во время совместного ужина с семьей, и вывести текст на экран телевизора, компьютера или телефона. Таким образом, можно провести уютный семейный вечер. С помощью Чарли родитель или родственник глухого ребенка может помогать ему с домашними заданиями. Примеров можно привести много, фактически в любой ситуации, где должно происходить общение, Чарли сможет помочь.

Как его можно использовать в общественных местах?

В настоящий момент «Чарли» установлен и активно работает в Центре занятости населения города Москвы «Моя работа». С помощью устройства специалисты отдела по трудоустройству инвалидов эффективно общаются с людьми, у которых нарушен слух, и помогают им найти работу. Также в МФЦ города Пермь запущен пилотный проект тестирования «Чарли». Планируется, что после тестов девайс будет установлен в специальном окне для обслуживания людей с инвалидностью.

Насколько сложно было дополнить устройство новой функцией для дистанционного общения?

Разработка этой функции началась еще в феврале, и мы делали ее для массовых мероприятий, чтобы большое количество людей могли подключиться к Чарли, например, на конференции или во время лекции. Когда началась волна перевода школьников, студентов и сотрудников на удаленную работу, мы решили ускорить выпуск этого обновления. Таким образом Чарли у наших клиентов не будет простаивать и поможет в общении с глухими людьми.

Какой в перспективе планируется разработать дополнительный функционал?

Мы постоянно работаем над улучшением массива микрофонов, который установлен в Чарли. Сейчас компоненты приходят из-за рубежа, в ближайший год мы хотели бы разработать свой собственный массив микрофонов. Кроме того, совместно с нашими партнерами мы хотели бы запустить поддержку иностранных языков – английского, немецкого, испанского, возможно некоторых азиатских и арабских языков. Также мы работаем над функцией перевода с одного языка на другой, чтобы Чарли можно было использовать для разговора с иностранцами, например, в кассе на вокзале или в музее.

Где можно приобрести Чарли?

Чарли можно приобрести напрямую у нас, то есть у производителя, в Лаборатории «Сенсор-Тех». Для этого нужно оставить заявку на нашем сайте sensor-tech.ru Кстати, перед покупкой устройство можно бесплатно потестировать. Для этого также нужно записаться через наш сайт, и это абсолютно бесплатно. Также у нас есть официальный дистрибьютер Исток Аудио, у них тоже можно приобрести наши устройства.

Как проходит его тестирование?

Обычно в нашем офисе. Мы приглашаем человека приехать, даем Чарли, показываем, как включить, связать его со смартфоном или компьютером, и проводим тест. Также у нас есть специальный центр тестирований - пространство ассистивных технологий для слепоглухих «Полигон» — это совместный проект Фонда поддержки слепоглухих «Со-единение», МГТУ им. Н.Э. Баумана и Центра «Технологии возможностей». Там регулярно проходят мероприятия для инвалидов по слуху и зрению, лекции, тесты устройств и так далее. Наши гаджеты там тоже есть.

Какие интересные просьбы и встречные пожелания вы получили от будущих пользователей?

По Чарли у организаций очень много запросов на расширение функционала, например МФЦ и банки часто хотят специальную версию, адаптированную под рабочее место операторов в этих организациях. По Робину многие наши пользователи и их родственники просят, чтобы такой гаджет появился в Федеральном перечне Технических средств реабилитации, тогда инвалиды смогут получить Робина бесплатно от государства. Мы работаем над этим с Министерствами, стараемся показать пользу гаджета для людей с нарушенным зрением.

В чём заключается роль искусственного интеллекта в данном устройстве?

В Чарли искусственный интеллект выделяет речь на фоне шума, а также отвечает за сам перевод из речи в текст. В Робине нейросети обучены с картинки с устройства определять разные объекты и лица людей.

Материал подготовила Надежда Данилова

 при участии Лаборатории «Сенсор-Тех»