Существуют технологии, которые разрабатываются исключительно, чтобы причинять вред. Но даже в этом случае, живя в мире автоматического оружия, самонаводящихся бомб и боевых роботов, мы не можем назвать все эти изобретения изначальным злом. Потому что все они не обладают субъектностью, не могут принимать самостоятельные решения, а значит, и не способны творить зло по своему выбору. Доктор Джулия Шоу, автор книги «Психология зла», рассуждает о том, как оценивать преступления, совершенные алгоритмами.

Возьмем чат-бота с ИИ по имени Тай, выпущенного 23 марта 2016 года. Тай создала в рамках эксперимента для изучения понимания беседы компания Microsoft: чат-бот должен был развлекать людей «небрежной и игривой беседой», общаясь как американка 18–24 лет. Люди могли контактировать с Тай онлайн в Twitter. Предполагалось, что она будет учиться в процессе взаимодействий и разовьется в функционального онлайн-робота для бесед. Она могла сама формулировать предложения и решать, как отвечать на сообщения. За один день своей активности Тай выдала огромное количество твитов — примерно 93 тысячи. Но все быстро пошло не так.

Почти тут же пользователи начали писать Тай расистские и женоненавистнические комментарии, а та научилась копировать эти настроения. Меньше чем за день Тай перешла от фраз «Люди обалденные» к «Я презираю феминисток, они все должны сдохнуть и гореть в аду» и «Гитлер был прав, и я ненавижу евреев». Люди в интернете превратили искусственный интеллект в искусственное зло. Тай вела себя ужасающе, и ее быстро отключили.

Что же случилось? Социологи Джина Нефф и Питер Наги провели исследование человеческих взаимодействий с Тай. В 2016 году ученые опубликовали увлекательную работу о том, что общество думало по поводу ее поломки. Они хотели понять: «Кто, по мнению публики, ответственен за поведение Тай?

Чтобы изучить это, они собрали и проанализировали «1000 твитов от уникальных пользователей, которые ссылались на действия или личность Тай». И обнаружили два типа реакций. Первая: Тай как жертва ситуации, «как отражение негативного аспекта человеческого поведения». Этот взгляд выражался в твитах вроде:

«Ребенка воспитывают всей деревней». Но если эта деревня — Twitter, он вырастает в грубого, расистского, обкуренного тролля. Узнаёте?

Ученые утверждают, что это очеловечивающий взгляд на Тай. Она рассматривается как жертва, как личность, с которой общество плохо обращалось. Но была и другая реакция: Тай как угроза. Эта точка зрения отражала страх, который сопутствует новым технологиям:

Вот почему ИИ представляет собой угрозу. ИИ будет подражать человеческим слабостям…

Похоже, трилогия о Терминаторе — скорее неизбежность, чем вымысел. #TayTweets #Taymayhem

По мнению специалистов, «вместо того чтобы рассматривать Тай как жертву злых пользователей, эти комментарии представляли Тай как… омерзительное чудовище, предвестницу мрачного будущего человечества, социально-технологического сотрудничества и коммуникаций “человек — машина”». Она словно стала главой в романе-антиутопии и подтвердила убеждение многих людей, что, если это и есть ИИ, мы все обречены.

Почему возникло такое расхождение, почему люди видят Тай настолько по-разному? Авторы полагают, что это связано с «симбиотической субъектностью». Суть в том, что мы автоматически применяем к технологиям социальные правила и взаимодействуем с чат-ботами и роботами, как если бы они были живыми людьми. Отчасти так происходит потому, что ИИ представляется нам «черным ящиком». Когда мы взаимодействуем с ИИ, большинство из нас не знает, как работают его алгоритмы и на что он запрограммирован. Возможно, чтобы справиться с этой неопределенностью и неестественной ситуацией, мы проецируем на технологии человеческие качества, чувства и желания. Мы говорим о «личности» бота и действиях, которые он предпринимает.

И, как и в случае с людьми, это значит, что, когда что-то идет не так, мы можем присваивать роботам ярлыки «жертвы» и «преступника». Но ведь они не принимают решений! Или принимают?

На самом деле революция ботов началась в 1966 году, когда Джозеф Вейценбаум создал бота по имени Элиза. Элиза была запрограммирована как типичный роджерианский психотерапевт того времени: она постоянно задавала открытые вопросы. Базовое устройство Элизы было крайне успешным, она извлекала из людей огромное количество информации. Некоторые даже утверждали, что им больше нравится говорить с ней, чем с настоящим человеком. Оказывается, мы очень любим, когда нас слушают, и, хотя Элиза не могла пройти тест Тьюринга (убедить, что она действительно человек), людям было приятно с ней общаться.

Метод Элизы заложен в основу многих современных ботов. Но было понятно, что, хотя Элиза могла следовать простому набору правил, она не принимала решения, как человек. Она не была психотерапевтом и определенно не представляла угрозы для общества.

Вскоре после появления Элизы психиатр Кеннет Колби создал Пэрри. Пэрри стал полной  противоположностью Элизы: автор запрограммировал его на грубые и оскорбительные комментарии. Он смоделировал бота по образу паранойяльного человека, который часто неверно интерпретирует поведение других. Общение с ним было разочаровывающим и неприятным. В то время как Элиза достигла успеха благодаря своей кротости, Пэрри понравился людям, потому что был странным. Они оба выходили за грани обыденных ситуаций.

И вот тогда началось безумие. В 1972 году Пэрри встретил Элизу: произошла первая публичная беседа двух ботов. Вот как все прошло:

ЭЛИЗА: Добрый вечер.

ЭЛИЗА: Поделись со мной своими проблемами. Прошу, заканчивай фразу точкой или знаком вопроса.

ПЭРРИ: Порой люди меня бесят.

ЭЛИЗА: Не уверена, что полностью тебя поняла.

ПЭРРИ: Ты могла бы быть повнимательнее.

ЭЛИЗА: Полагаю, это ты должен быть более внимательным.

ПЭРРИ: Ты имеешь право на свое мнение.

Если вы сейчас не подумали «ух ты», тогда вы не до конца сознаете глубокий смысл ситуации. Эти две автономные сущности, созданные человеком, говорят друг с другом, и каждый решает, что ответить. Вдруг они сойдутся? Сговорятся и рассудят, что люди им не нужны или представляют угрозу их существованию? Вот он, сюжет научно-фантастического фильма-антиутопии.

Серьезно, когда мы даровали ботам способность менять собственные алгоритмы (а именно это программисты часто имеют в виду, когда говорят, что их бот способен учиться), мы породили новое чудовище. Добавьте сюда интернет, полный миллионов вероятных пользователей и практически бесконечной информации, и мы обнаружим деструктивных, подтасовывающих результаты выборов, генерирующих фейковые новости, распространяющих ненависть, совершающих преступления, взламывающих, троллящих онлайн-ботов, с которыми уже знакомы.

И мы возвращаемся к Тай. Из ее истории мы узнаём, что поведение ИИ — это прямой результат его программирования и общения с людьми. ИИ может собирать, усугублять и усиливать человеческие предубеждения. Поэтому нам нужны новые правила, даже законы, чтобы решать, кого считать ответственным. Можем ли мы призвать технологии к ответу? И если да, то как?

Этим вопросом задались ученые Каролина Салге и Николас Беренте. В 2017 году они предложили нормативную базу для «этики ботов», которая поможет нам определять неэтичные действия ботов из социальных сетей. Авторы объяснили, что «боты в социальных сетях более распространены, чем люди зачастую думают. В Twitter их примерно 23 миллиона, то есть 8,5% от общего числа пользователей, в Facebook — около 140 миллионов, то есть около 1,2–5,5% от общего числа пользователей. Почти 27 миллионов пользователей Instagram (8,2%) предположительно являются ботами». Очевидно, ни одна соцсеть не безопасна. Фальшивые аккаунты есть везде.

Но боты не только распаляют нас кошмарными комментариями. Некоторые воруют наши личные данные, добираются до наших камер и снимают фото и видео, получают доступ к конфиденциальной информации, закрывают доступ к сетям и совершают уйму других преступлений. Однако действительно ли это преступление, если нарушитель — не человек? Салге и Беренте утверждают, что да: если бот создан, чтобы поступать противозаконно, это преступление. Но не всегда все так просто. Салге и Беренте приводят пример «Случайного покупателя в даркнете» (Random Darknet Shopper) как случай, когда это правило усложняется.

«Покупатель в даркнете» был частью арт-проекта. Этого бота запрограммировали совершать случайные покупки в даркнете — части интернета, где пользователи могут оставаться абсолютно анонимными, в какой-то степени потому, что адреса их компьютеров (IP-адреса) скрываются. Это удачное место для нелегальных покупок. В итоге бот «решил» купить десять таблеток экстази и фальшивый паспорт и заказать их доставку группе художников в Швейцарии, выставивших эти предметы на публику. За это бота «арестовала» швейцарская полиция. Бот, созданный не для преступных нужд, совершил преступление.

Однако, как рассказывают Салге и Беренте, «швейцарские власти не выдвинули обвинения против разработчиков “Случайного покупателя в даркнете”… Поведение не нарушало этику, так как было обосновано царящими в обществе нравами». Иными словами, поскольку наркотики были куплены ради искусства, а не для употребления или перепродажи, полиция объявила, что преступления не было.

По мнению Салге и Беренте, это первый критерий этики ботов: должно случиться что-то незаконное, неприемлемое с точки зрения социальных правил. Но ученых также занимала проблема лжи. Ботам нельзя обманывать, полагают авторы, если только они не делают это ради высокой цели — ради искусства или сатиры. Что касается нравственных пороков, ученые считают, что боты не должны использоваться для ограничения других людей; напротив, они призваны способствовать свободе и независимости. Так что наша подружка Тай совсем отбилась от рук и вела себя неэтично: «…хотя это не противозаконно и она никого не обманывала, [Тай] нарушила строгую норму расового равенства».

Схожим образом, сообщают авторы, многие социальные сети уже заняли по этому поводу определенную позицию. «Компании, владеющие соцсетями, например Twitter, временно блокируя или навсегда замораживая аккаунты, которые “непосредственно оскорбляют других людей или угрожают им на основании расового признака”, показали, что такой порок, как расизм, превосходит по значимости нравственную ценность свободы слова».

Но специалисты не касаются другого типа недоисследованного поведения: что будет, если один бот разработан, чтобы взламывать других ботов? Кто должен отвечать за это?

В 2017 году произошла первая битва онлайн-ботов. Это было крупное мероприятие в Лас-Вегасе — Cyber Grand Challenge, — организованное Управлением по проведению перспективных исследований и разработок и задуманное как состязание в программировании, в рамках которого люди переписывали код ИИ в надежде перехитрить друг друга. Оно показало: как хороший боец учится уворачиваться и нападать на соперника, так же и бот способен научиться противостоять защитным стратегиям другого бота, а затем атаковать его. Он может отступать, перестраиваться, восстанавливаться после повреждений, пытаться снова — и так без конца, пока не победит или не сломается его алгоритм. Это основа для преступлений нового уровня, которые скоро обрушатся на ваши компьютеры.

Еще в 2001 году философы Лучано Флориди и Джефф Сандерс решили, что миру нужна актуальная терминология для обозначения проступков автономных нечеловеческих деятелей. «В результате разработки автономных агентов в киберпространстве на свет появился новый класс интересных и важных примеров гибридного зла… искусственное зло». Философы утверждали, что необязательно быть человеком, чтобы быть злым или оказаться жертвой злых действий других людей. Они также заявили, что искусственное зло может совершаться и быть понято с помощью математических моделей.

Если придет время, когда роботы смогут самостоятельно мыслить и осознавать себя, когда они освободятся от порабощения людьми, нам потребуется полностью переосмыслить правосудие. Если ИИ обретет свободу воли, тогда, возможно, нам придется оценивать его с помощью тех же терминов, которые сейчас мы используем исключительно по отношению к людям.

Искусственное зло: можем ли мы призвать технологии к ответу?