Протез руки с искусственным интеллектом и зрением

Существующие сегодня самые современные протезы контролируются с помощью миоэлектрических сигналов* пользователя и требуют от него прохождения специального обучения, долгой практики, концентрации и времени. Ученые из университета Ньюкастла (Великобритания) решили пойти другим путем и разработали протез руки, управляемый программой на базе искусственного интеллекта и использующий камеру. Это устройство позволяет его носителю автоматически брать и использовать разнообразные объекты.

Ученые применили в своем протезе программное обеспечение на основе сверточной нейронной сети**, которое "прошло обучение" на 500 изображениях объектов, которые человек обычно берет или хватает. Каждый объект был снят по 72 раза, каждый снимок при этом отличался от предыдущего поворотом на 5°.  При этом для каждого объекта программное обеспечение определило способ, которым его надо брать. Объекты были сгруппирован по размерам, форме, ориентации, а рука была запрограммирована производить четыре различных вида захвата, чтобы справиться с любым из этих объектов: ладонь и запястье в нейтральном положении (взять чашку), пальцы и запястье (чтобы взять пульт телевизора), "штатив" (большой, указательный и средний пальцы) и "щепотка" (большой и указательный пальцы).

Камера, которая находится на верхней части запястья протеза, делает снимок объекта, который находится перед ней, после чего программа оценивает ее форму и размер, выбирает наиболее подходящую хватку и инициирует серию движений руки. И все это в течение нескольких миллисекунд, отмечает IOP Science.

Тесты новый технологии, которые были проведены в университете, показали, что человек после непродолжительного обучения с помощью такой искусственной руки мог брать и перемещать объекты, которые были предварительно проанализированы, в 88% случаях. Что касается объектов, которые не были включены список изучаемых заранее, точность захвата составляла 75%, что позволяет утверждать о высокой степени обобщенности подготовленной базы объектов.

Эта работа является частью проекта по разработке бионической руки, которая способна чувствовать давление и температуру и передавать эту информацию в мозг.

* Миоэлектрические сигналы - биоэлектрические нервные сигналы, направляемые в клетки мышц, позволяющие, например, человеку двигать конечностями.

** * Свёрточная нейронная сеть (англ. convolutional neural network) — специальная архитектура искусственных нейронных сетей, нацеленная на эффективное распознавание изображений, входит в состав технологий глубокого обучения.