Можем ли мы доверять искусственному интеллекту, если не знаем, как он работает?

Мы вступаем в эру, в которой уже скоро системы на базе искусственного интеллекта начнут принимать решения, которые будут влиять на многие аспекты нашей жизни. Но что это значит, если мы не знаем, как они приходят к таким решениям? Насколько это важно знать?

Представьте себе, что вам отказали в страховании жизни или заблокировали счета, а когда вы пытались узнать почему, вам просто сказали, что так решила система оценки рисков. Или вы хотели получить ипотеку, а вам отказали, а банк не может точно сказать, какова причина этого решения.

Искусственный интеллект уже начинает использоваться во многих отраслях, включая медицинские исследования и диагностику, национальную безопасность и армию, а также принятие решений по криминальным случаям. Программные алгоритмы становятся все более сложными и даже их создатели не всегда понимают, как были получены ответы, которые выдает программа.

Появление нейронных сетей, которые имитируют процесс мышления людей, означает, что используются большое количество соединенных друг с другом процессоров, обрабатывающих гигантские объемы данных и находящих определенные паттерны среди миллионов переменных, используя принципы машинного обучения. Это позволяет получать изумительные результаты, начиная от более точного предсказания погоды и заканчивая более точной идентификации рака.

Но быстрый прогресс в сфере исследований искусственного интеллекта обязан, в частности, применению подхода использования больших данных в рамках "черного ящика". Один из наиболее популярных методов заключается в "тренировке" нейронной сети, которая определяет миллионы внутренних параметров, которые сложным образом взаимодействуют друг с другом. Разработчикам очень трудно "размотать этот клубок" и объяснить, как он образовался.

Еще одна тенденция — это глубокое обучение с подкреплением (Deep Reinforcement Learning), т.е. способ машинного обучения, в ходе которого разработчик только определяет поведенческие цели, а испытуемая система обучается, взаимодействуя с некоторой средой. Результаты работы такой системы еще труднее понять и объяснить.

Сегодня разработчики пытаются найти пути к решению, позволяющему всегда понимать и держать под контролем решения машинного алгоритма. В частности, известное американское агентство DARPA (Управление перспективных исследовательских проектов Министерства обороны США) запустила проект Explainable AI, в рамках которого пытается найти и использовать методы создания безопасного искусственного интеллекта. Но преимущество искусственного интеллекта в том, что он может делать вещи, которые не может человек. И что, если мы таким образом сделаем его менее эффективным?

По мнению эксперта Института Алана Тюринга Адриана Веллера,

Необходимость понимания того, как машина получает свои результаты, зависит от того, насколько критичны такие решения. И другие факторы могут быть более важными, чем возможность такого понимания. Когда речь идет, например, о медицинской диагностике или автомобилях без водителя, то возможность более безопасного движения и сохранения большего количества жизней будут более важными параметрами, чем понимание того, как программа это делает. Для системы медицинской диагностики, если она выдает результаты с точностью 95%, то это очень хорошо. Но, если речь идет обо мне лично, я все-таки хотел бы знать, насколько она точна именно для меня и как это она делает.

С другой стороны, если искусственный интеллект используется при вынесении приговоров в суде и определяет, сколько человек должен сидеть в тюрьме, то здесь очень важно понимать процесс принятия решений. Необходимо в таких случаях использовать несколько другие принципы, не позволяющие возникнуть риску дискриминации человека без объяснения, почему так происходит.

А поскольку большинство из нас даже не знает, что алгоритм искусственного интеллекта стоит за приятием решения, которое влияет на нашу жизнь, то это приходит в несоответствие с основными принципами законов, по которым мы живем.

И будем ли мы счастливо жить среди сверхумных машин, принимающих решения для нашей пользы, которые мы не понимаем, или это сделает нас рабами автоматизации за счет потери части наших прав и свободы?