Пользоваться компьютером при помощи только глаз и мозга

Потеря мышечного контроля при сохранении когнитивных функций - это обычный симптом нейромышечных заболеваний. Он влечет за собой появление многих проблем, в том числе и невозможность использования различных привычных программных инструментов, требующих применения стандартных средств, таких как мышка, клавиатура или сенсорная панель. В результате человек выпадает из общества и становится неспособным поддерживать связь со своими друзьями с помощью цифровых систем.

Международный коллектив разработчиков в рамках проекта MAMEM (Multimedia Authoring & Management using your Eyes & Mind) стремится разработать систему, позволяющую реинтегрировать таких людей в общество путем обеспечения их возможностью коммуницировать и общаться, например, в социальных сетях.

Работая в этом направлении группа MAMEM разрабатывает новые интерфейсы, которые можно контролировать при помощи движения глаз или мысленных команд, используя отслеживающие устройства и ЭЭГ-системы. Это делается путем расширения основного интерфейса пользователя (API) существующих операционных систем с помощью новых функций, позволяющих использовать сигналы, захваченные при помощи трекеров движения глаз, системы записи электроэнцефалограммы (ЭЭГ) или биосенсоров, пишет Biotech Asia.

Эти сигналы переводятся с помощью системы распознавания и алгоритмов трекинга в контрольные команды, позволяющие создать новый механизм мультимодальных взаимодействий. Подобная парадигма позволит создать новый механизм низкоуровневого (как движения мышки), среднеуровневого (как простановка галочки в одном из вариантов выбора) и высокоуровневого (выбор несколько вариантов из множества) контроля в рамках приложений с помощью только глаз и мозга.

Для того, чтобы обеспечить такую функциональность, разработчики создали новый браузер GazeTheWeb, в котором заменили обычные кнопки и браузерную функциональность элементами взаимодействия, которые можно использовать при помощи взгляда, сигналов ЭЭГ и КГР*. Он также увеличивает определенные веб-сайты, упрощая таким образом их использование больными людьми - позволяя смотреть видеоролики и другие мультимедиа, обмениваться фотографиями, использовать социальные медиа и даже редактировать фотоизображения.

В своем проекте разработчики задействуют три категории пациентов - страдающих от болезни Паркинсона, нейромышечных заболеваний и тетраплегии** - которые помогают тестировать прототипы приложений, относящиеся к взаимодействиям с мультимедиа.

В проекте участвуют ученые и разработчики из Греции, Германии, Италии, Нидерландов и Израиля.

* КГР (кожно-гальваническая реакция кожи или электрическая активность кожи) - это биоэлектрическая реакция, которая регистрируется с поверхности кожи. Это показатель активности вегетативной нервной системы, широко применяемый в психофизиологии.

** Тетраплегия -  паралич большей части тела, включая верхние и нижние конечности.