Исследователи DARPA хотят знать, как и почему искусственный интеллект ошибается
Группа американских исследователей, работающих в рамках проектов DARPA*, скоординировали свои усилия с целью лучшего понимания, как осуществляются "рассуждения" алгоритмов искусственного интеллекта и как они приходят к выводам, которые они делают. Несмотря на всеобщее восхищение возможностями систем на базе искусственного интеллекта, широкое применение таких технологий в здравоохранении пока затруднено. И лучшее понимание процессов принятия решения такими системами может помочь преодолеть существующие затруднения.
В проекте участвуют около 100 ученых из 30 университетов и частных организаций. Они намерены создать "понятные" системы искусственного интеллекта", которые могут конвертировать сложный компьютерный язык в легкую для понимания логику, помогающую понять, как алгоритм искусственного интеллекта приходит к своему решению. Т.е. цель проекта заключается в создании набора инструментов машинного обучения и интерфейсов пользователя, которые правительственные и коммерческие организации смогут использовать для объяснения, как их собственные продукты на базе искусственного интеллекта приходят к определенным выводам, пишет MedCity News.
По словам одного из руководителей проекта Дэвида Ганнинга,
Если вы хотите понять, почему система предлагает обратить особое внимание на определенных пациентов в больнице, или почему ваш автомобиль с автопилотом вдруг остановился посреди дороги, или почему ваш дрон вдруг повернул обратно и не стал выполнять свою задачу, то вам необходимо какое-то объяснение.
Ранее в этом году управляющий директор Microsoft по исследованиям доктор Эрик Горовиц, рассказывая о собственных проектах, связанных с искусственным интеллектом, упомянул об исследованиях того, почему иногда возникают сложности с пониманием процессов принятия решений у алгоритмов машинного обучения. Одна из причин этого связана, в частности, с тем, что нейронные сети, используемые для "обучения" компьютерных алгоритмов, могут также использоваться для манипулирования дискуссиями в социальных сетях или для того, чтобы заставлять людей принимать неверные решения на основе необъективных правил, которые запрограммированы в этих сетях, например, инструментов поддержки принятия юридических решений, используемых для вынесения приговора.
* DARPA - Управление перспективных исследовательских проектов Министерства обороны США, отвечающее за разработку новых технологий для использования в интересах вооружённых сил. Задачей DARPA является сохранение технологического превосходства вооруженных сил США, предотвращение внезапного для США появления новых технических средств вооружённой борьбы, поддержка прорывных исследований, преодоление разрыва между фундаментальными исследованиями и их применением в военной сфере.
