Приложение от Microsoft помогает слепым видеть

Компания Microsoft разрабатывает когнитивное приложение Seeing AI, которое предназначено для помощи слепым или слабовидящим людям лучше понимать окружающий их мир. 

Приложение может работать как на смартфоне, так и на специальных "умных" очках, которые имеют встроенную миниатюрную камеру. Камера может "видеть" людей и предметы, а приложение распознает, кто или что это такое. В свою очередь, голосовой помощник в реальном времени передает эту информацию своему "хозяину".

Работа этого приложения и предназначенных для него умных очков Pivothead была показана на видео во время недавнего мероприятии Microsoft -  Microsoft Build 2016 Developer Conference, которое проходило в Сан-Франциско. В нем один из создателей приложения Сакиб Шейк (Saqib Shaikh) демонстрирует, как приложение может служить чем-то вроде собаки поводыря. Например, в ресторане он фотографирует на свой смартфон меню и голосовой помощник в приложении помогает ему правильно позиционировать телефон. Затем встроенная система искусственного интеллекта читает содержимое меню.

В своей работе приложение использует технологии машинного обучения и систему распознавания изображений на основе сверхглубоких нейронных сетей, которые также называют нейросетями остаточного класса.

Эта разработка является частью большого проекта по использованию системы искусственного интеллекта в различных аспектах жизни человека в ближайшем будущем. Для разработки было использовано программное обеспечение, являющееся частью пакета Cortana Intelligence Suite, который предоставляет разработчикам возможность использования "больших данных, машинного обучения, восприятия, аналитики и интеллектуальных ботов", говорится в пресс-релизе компании.

В дальнейшем специалисты Microsoft хотят увеличить объем данных для обучения, чтобы подарить слабовидящим людям более широкие возможности для восприятия мира. Кроме того, они надеются найти способы повысить информативность описаний изображений при распознавании. Например, чтобы инструмент распознавания смог не только сообщить, что на изображении мужчина сидит рядом с женщиной, но и уточнить, кто именно позирует для снимка.

Отметим, что показанный в фильме разработчик Шейк потерял свое зрение в 7 лет, что, впрочем, не мешает ему работать в такой компании, как Microsoft.