Как сделать музыкальное образование более доступным для незрячих людей?

Возможности применения технологии искусственного интеллекта кажутся практически безграничными. Аспирант из английского университета Лафборо Цзыкунь Хуа разрабатывает новую технологию, призванную сделать музыкальное образование более доступным для слабовидящих студентов. Как правило, студенты в группе или оркестре должны иметь возможность видеть руководителей ансамбля и партнеров по сцене для получения важных визуальных сигналов. Изобретение Хуа под названием Buzz объединяет камеру с искусственным интеллектом и вибрирующие смарт-часы, которые переводят визуальные сигналы в вибрацию часов, создавая более инклюзивный опыт для студентов с ослабленным зрением.

Buzz использует технологию распознавания образов на основе искусственного интеллекта для определения и анализа визуальных сигналов во время занятий в ансамбле. Затем он преобразует эту информацию в соответствующие вибрационные сигналы, которые помогают музыканту реагировать соответствующим образом.

Часы в основном используются для получения информации, преобразованной камерой, и для оповещения пользователя с помощью вибрационных сигналов.

"Умная" камера в настоящее время может идентифицировать три сцены, такие как:

• Определение того, что партнер встает или садится.
• Определение того, что партнер готов начать и прекратить игру.
• Определение усталости игроков в ансамбле.

Сейчас Buzz находится на первой стадии разработки продукта, и Хуа использует технические и внешние тесты для создания функционирующего прототипа.

Этот продукт является частью выставки работ аспирантов Школы дизайна и креативных искусств Лафборо.