Кирилл Мартынов. Боится ли уголовной ответственности искусственный интеллект?
4 июля на ВДНХ в павильоне «Умный город» состоялась летняя сессия проекта «Образ будущего» — «Куда ведет эволюция морали».
Уже сейчас перед обществом встают важные моральные вопросы, которые пришли в нашу жизнь совсем недавно в связи с появлением новых технологий. Например, допустимо ли клонирование человека? Как далеко могут зайти эксперименты по редактированию генома? Этично ли ради безопасности следить за активностью граждан, в том числе в Интернете? Число таких вопросов будет расти в геометрической прогрессии, и нам предстоит понять: что останется в категории «вечных ценностей», а какие нормы неизбежно будут подвержены изменениям.
Спикер — Кирилл Мартынов, кандидат философских наук, доцент Школы философии НИУ ВШЭ, редактор отдела политики «Новой газеты».
Тема «Искусственный интеллект и ответственность».
Модератор дискуссии — Ирина Прохорова, литературовед, главный редактор журнала «Новое литературное обозрение», глава одноимённого издательского дома, телеведущая канала РБК-ТВ.
«Образ будущего» — цикл дискуссий о важнейших изменениях в жизни общества и каждого отдельного человека в частности. Это проект для тех, кто хочет понимать, что происходит, и участвовать в развитии идей и инициатив, за которыми будущее. Цикл дискуссий подготовлен Комитетом гражданских инициатив и Общероссийским гражданским форумом.
МАРТЫНОВ К.:
Я хотел два тезиса сегодня заявить и предложить для обсуждения. Первый тезис касается того, что вообще интерес к этическим проблемам сейчас очень растет. Мне кажется, мы переживаем своего рода возрождение этики, и это связано с определенными объективными причинами, как мне представляется. В культуре, если вы посмотрите, доминируют два способа рассуждения о том, каково этическое и вообще культурное значение технологического прогресса. Первый уровень рассуждения предполагает, что технологии вредят человеческим сообществам, человеческим отношениям, технологии и технологический рост нужно ограничивать, сдерживать и в некоторых случаях бежать от него. Это позиция, с одной стороны, консервативная, с другой стороны, иногда этих людей называют луддитами, знаменитыми разрушителями машин. С луддитами, кстати, как выясняется, в начале XIX века было не все так просто, как нам кажется на первый взгляд, но это отдельная тема. В общем, луддиты, может быть, больше похожи на нас всех сейчас, чем нам это казалось, когда мы проходили их в школьном учебнике про промышленную революцию.
Второй способ рассуждения про технологический прогресс и его социальные и этические последствия – это позиция такого предельного оптимизма. Ее апологетами, как правило, являются люди, которые технологии разрабатывают. Особенно характерны такие предельно оптимистичные взгляды на технологическое будущее человечества у людей, которые сидят в Силиконовой долине, и оттуда, в общем-то, и приходят в мир большинство, по крайней мере, IT-технологий сейчас. И здесь доходит до смешного. Есть известный философ и публицист белорусского происхождения Евгений Морозов, я часто на него люблю ссылаться. Вот у него есть книжка «Для того чтобы спасти все, нажмите сюда» («to save everything — click here»). И там он выводит позицию таких солюционистов – людей, которые предполагают, что как только какая-то новая технология будет передана человеческим сообществам, так все социальные проблемы будут сами собой разрешены.
И мне, в общем, кажется, что… Понятное дело, мы должны избавиться как от избыточно консервативных взглядов, так и от чрезмерного оптимизма, характерного для некоторых представителей IT-индустрии. Кстати, не для всех. Мне кажется, что довольно очевидно, что технологии нейтральны, что их использование – это скорее вопрос о том, каковы моральные качества людей, которые их используют, или моральные установки людей, которые их используют. И интерес к этике растет, во-первых, в силу того, что чем быстрее темпы технологического развития, тем больше этических проблем и социальных проблем эти технологические феномены порождают. Здесь, на самом деле, можно приводить примеры, их можно приводить много. Я возьму два абсолютно случайных на разных уровнях.
Первый пример – это технология, широко обсуждавшаяся в прошлом году. Это приложение FindFace, которое позволяет вам сфотографировать случайного человека на ваш смартфон и найти этого человека, если он где-то промелькнул в социальной сети «ВКонтакте». Это ситуация тотальной деанонимизации людей в больших городах. Вы можете узнать про человеческую жизнь довольно много, просто запечатлев его лицо однажды на свою фотокамеру. Насколько это этично? Фонд FindFace себя позиционировал как специфический сайт знакомств, и стало понятно, что как только он появился, им немедленно начали неформально пользоваться оперативные сотрудники полиции. Насколько этично автоматизировать подобную систему? Московский метрополитен уже заявил, что его эта технология и подобные технологии чрезвычайно вдохновляют, и в перспективе ближайших лет в метрополитене с потоком в много миллионов людей ежедневно будет создана система автоматического сканирования лиц, когда оператор, находящийся на станции, будет знать про проходящих мимо людей практически все: какая у них кредитная история, платят ли они алименты, участвуют ли они в оппозиционных митингах и так далее. Это один такой уровень. Этично ли создавать такие системы? Этично ли их использовать? Должны ли мы их каким-то образом ограничивать?
На другом уровне находятся этические проблемы совершенно другого порядка. Это, скажем, вопрос о том, этичны ли, приемлемы ли и желанны ли некие технологии, связанные с улучшением человеческой природы и с улучшением и преобразованием homo sapiens. С одной стороны, нам homo sapiens дорог, мы к нему привыкли. С другой стороны, понятно, что у него много проблем: он не идеален, он болеет, стареет, умирает, его когнитивные способности зачастую оставляют желать лучшего. Должны ли мы на новом этапе вернуть в строй какую-то версию евгеники и заявить о том, что людей нужно то ли принудительно, то ли при помощи пряника превратить в какой-то более продвинутый биологический вид? Хотите ли вы этого? Этично ли это?
Здесь маленькая реплика. Как раз пока я об этом говорил, мне подумалось, что на самом деле нам в каком-то смысле слова повезло, потому что все-таки этические ценности современного мира достаточно гуманные. Мы считаем, что разные люди должны как-то в мире друг с другом сосуществовать и что, в общем, на этих основаниях, условно говоря, либеральных ценностей западный мир будет строить свое технологическое развитие. Здесь очень интересно подумать о том, что было бы, если бы нынешние современные технологии были у режимов XX века. И второй еще интересный вопрос – это вопрос о том, что здесь в большей степени определяет: некий социальный контекст, социальные отношения порождают современные технологии… Как нам часто говорили, например, «холодная война» породила множество технологий второй половины XX века, включая интернет. Либо, наоборот, зависимость обратная, и технологии сами определяют какой-то социальный порядок.
Я буду завершать. У меня еще есть маленький второй тезис. Я попробую его сейчас лаконично сформулировать. Мне кажется, может быть, самое интересное, что в этике происходит сейчас, это то, что этика становится инженерной проблемой. Люди сейчас разрабатывают некие машины, которые должны и способны достаточно автономно действовать в реальном мире. Если машина действует в реальном мире, в широком смысле слова машина, то это означает, что некоторые из ее решений могут носить и будут носить этический характер. Зайдите на сайт Массачусетского технологического института, на страницу этого сайта, которая называется Moral Machine, и там вы увидите, о чем идет речь в самом таком примитивном случае. Есть робот-автомобиль, он находится на дороге, на дороге неоднозначная аварийная ситуация, и робот-автомобиль должен кем-то пожертвовать: кого-то задавить, а кого-то оставить в живых. Как робот-автомобиль должен выбрать, как он должен создать это свое решение?
Три закона робототехники Азимова совершенно нам здесь не помогут. Это означает, что мы впервые, в общем-то, в истории человечества должны этику проектировать и на уровне этого робота-автомобиля, и на многих других уровнях в будущем как некую инженерную задачу. Это означает, что дискуссия об этике в каком-то смысле слова впервые начинается всерьез. Потому что вопрос о том, кантианцы вы или утилитаристы, важны ли для вас принципы или последствия вашей этики, имеет вполне конкретное инженерное измерение. Есть такая уже стандартная шутка, что в будущем, кроме обивки салона автомобиля, вы будете выбирать этическую систему этого автомобиля: хотите ли вы, чтобы ваш автомобиль был кантианцем.
И самый последний тезис. Если мы создадим достаточно этически приемлемый автомобиль, а шире – программу, которая выполняет некие этические решения, то меня, с одной стороны, беспокоит, а с другой стороны, воодушевляет одна линия этого рассуждения, которая предполагает, что на выходе мы вообще можем получить некую универсальную этическую машину. Машина, которая собрала все примеры этических проблем и для каждой из них в состоянии (на основе, конечно, big data) давать некое этически приемлемое разрешение. Мне кажется, технологии все время нам подбрасывают этические проблемы, на которые мы не успеваем отвечать. И, может быть, немножко пугающая перспектива заключается в том, что единственный способ в этом вопросе добиться какого-то прогресса – это делегировать часть этических проблем машинам. Спасибо.
ПРОХОРОВА И.:
Мне кажется, было высказано много очень интересных идей, тезисов и, скорее, постановок проблем. Будут ли какие-то… Да, прошу вас.
БЕГТИН И.:
Если позволите, я добавлю. Я практически согласен со всеми тезисами, позволю вернуться к нашей реалии. Потому что отчасти мы говорим сейчас про будущее, но то будущее, о котором мы говорим, давайте будем честно, мы говорим про ближнее будущее. Не говорим там через 100 лет освоения Марса, Сатурна или далеких звезд или каких-то изменений, мы говорим про то будущее, которое мы гарантированно застанем при нашей жизни. Большинство из нас, даже в том числе люди весьма в возрасте. И, скорее всего, мы застанем это еще здоровыми и разумными, то есть мы успеем это увидеть. Это про будущее, разбег до которого лет пять. И отчасти как предвестник этого будущего, вот к разговору об этических машинах, например, сейчас в Евросоюзе уже несколько лет обсуждается ответственность разработчиков алгоритмов за принятие решения. Потому что некоторое время назад многие решения стали приниматься автоматически.
Простейший пример. Если вы заполняете анкету на получение кредита в банке, то вас оценивает скоринговая машина. В данном случае вас не оценивает человек, он не совершает никаких юридических действий, вы не можете потом с этим человеком пойти судиться, если вам не дадут этот кредит. Кредит – это еще некоторая форма, где, скажем так, не возникает обязательств у них. Вы вряд ли пойдете судиться, если вам не дадут. А есть ситуации, в которых они возникают. Так вот, очень часто сейчас решение принимает именно алгоритм. И главная проблема с алгоритмом в том, что вопрос – кто за него отвечает? Тот, кто эксплуатирует? Тот, кто его разработал? Он сам? У него нет юридического статуса.
А теперь я могу сказать, что по первым прецедентам, которые возникают… Первое – разработчики все отказываются от ответственности. Говорят: «Мы вот отдали, описали, это больше на наше. Тот, кто принял решение, он эксплуатирует». Тот, кто принял решение, говорит: «А я не понимаю, как это работает». Он просто работает по некоторым вводным и все. А когда начинают в этом разбираться, то оказывается, что все те машины, вот мы говорим про нейросети, про обучение, очень важно понимать некоторую особенность последствий всего этого использования. В определенный момент разработчики, те, кто используют, просто не знают, на основе каких критериев машина будет принимать решение. У нее еще не будет искусственного интеллекта в том смысле, как мы понимаем его полноценно. Это будет такой прединтеллект, который просто способен автоматизированно принимать некоторые решения. Но уже невозможно будет понять, как он работает.
Те из вас, кто сталкивался с микропроцессорами, я могу сказать, что большинство современных разработчиков микропроцессоров, которые есть в каждом нашем телефоне и в каждом компьютере, так вот, нет ни одного человека, который понимает это целиком. Есть просто много разных людей в гигантских корпорациях, которые каждый понимает свой маленький кусочек, они проектируют в современных системах очень модульно, но сложность одного микропроцессора, может быть, в каком-то смысле сравнима со сложностью одного крупного города. И эта нарастающая сложность – это тоже некоторый вызов, с которым, если честно, человечество пока еще не готово работать. Это, собственно, мое дополнение только к искусственному интеллекту, а про этику я чуть попозже, если позволите, расскажу.
ПРОХОРОВА И.:
Вы хотели тоже что-то сказать, да?
КИСЕЛЕВ С.:
Я просто хотел добавить, что приведенный пример, мне кажется, он больше экономический, чем моральный. Потому что ответственность, особенно в сфере банковской, это просто кто потом будет выплачивать деньги и нести какие-то штрафы, так же, как и при конструировании микросхем. То есть это не вопросы морали, это все-таки все идет от экономики, это все идет, если хотите, от технократии.
БЕГТИН И.:
А можно другой пример? Ответственность, например… Сейчас алгоритмы способны предсказать успешность операции.
КИСЕЛЕВ С.:
Это то же самое. Ответственность, это деньги.
БЕГТИН И.:
Экономика? В этом нет морали?
КИСЕЛЕВ С.:
Нет. Это деньги опять, это опять деньги.
БЕГТИН И.:
Нет, так можно к деньгам свести все.
ПРОХОРОВА И.:
Наконец-то мы нашли… Сразу тема-то завязалась.
КИСЕЛЕВ С.:
Смотрите, на самом деле, ведь они же мера вашей морали. Кто ее ценит? Только суд и в деньгах.
БЕГТИН И.:
Нет, просто смотрите, если мы про этику будем говорить с точки зрения в первую очередь денег, тогда давайте каждый раз это использовать в качестве мерила, то есть, начиная с какого момента, от некоторых этических принципов мы можем отказываться. Нет, я не против, мне такой подход даже нравится.
КИСЕЛЕВ С.:
Надо единица измерения. Какая единица измерения?
ПРОХОРОВА И.:
Вы знаете, коллеги, про деньги, потом еще про любовь. Есть несколько важных тем, которые сразу становятся повесткой. Я хотела задать вопрос, может быть, наивный Кириллу. Отчасти и сами его поднимали, и коллеги тоже. Вот действительно, кто берет изначально ответственность? Знаете, я помню, что большое количество фантастики, которую мы читали в советские годы, там это и поднималось: этическая ответственность ученых. Эти открытия внедрять или, наоборот, их продержать, потому что общество не готово? Но ученые обычно говорят, что наше дело открывать что-то, а вот, извините, как этим пользоваться, пусть уж как-то общество решает. Но мы прекрасно понимаем, что чаще всего сразу открытиями пользуются чаще всего в дурном плане. Ну, человек так устроен. Накопление такого количества возможностей, отслеживания, слежки, контроля над людьми, которые создают нам новые технологии, это как-то возможно регулировать с точки зрения этических моментов и какой-то ответственности конкретных людей? Понимаете, вы говорите: да, действительно здорово, что это открывается сейчас, а не в 30‑х годах прошлого века, когда цвели авторитарные, тоталитарные режимы, которые и без всяких технологий людей гробили со страшной силой. Но ведь может произойти деградация социальная, и мы видим это, как нарастает. Вот с этим как нам быть? Собственно, вопрос степени ответственности каждой части общества. Это возможно как-то?
МАРТЫНОВ К.:
Ну, я вижу единственный прагматический след этой истории. То есть отказаться от машин, которые за чем-то следят и принимают какие-то решения, у нас не получится совсем, потому что то человеческое сообщество, которое откажется от умных машин и от возможностей современных технологий, это общество неизбежно конкурентную борьбу с другими обществами проиграет. Поэтому позиция вот такого тотального луддизма, мне кажется, не наш выбор. Единственное, что мы можем сделать в прагматическом смысле слова, это думать о том, какие правовые ограничения мы можем вводить на использование технологий. Например, мы можем юридически запретить Московскому метрополитену в частности и государству вообще… При условии, если б у нас, конечно, была система политического представительства, давайте предположим, что это так, мы могли бы запретить как избиратели, как люди, которые делегируют своих представителей во власть, мы могли бы запретить автоматическое распознавание лиц, мотивируя это тем, что интересы общественной безопасности в данном случае не так важны, как интересы приватности человека и его личной свободы.
И проблема, пожалуй… Если от российского контекста абстрагироваться, проблема здесь, пожалуй, сводится в том, что мы немножко опаздываем. Эти технологии внедряются сейчас, и мы, и западный мир, вообще человечество в целом, мы не очень хорошо успеваем на все это реагировать. Ну, есть же какие-то простые в конечном итоге вещи. Ведь мы прежде не жили в мире, где любое событие потенциально имеет публичный статус. А сейчас мы в этом мире живем. Просто по той причине, что у каждого в кармане лежит смартфон, и, в принципе, вы можете вести видеотрансляцию практически откуда угодно и показывать на своем смартфоне все что угодно. Такая тотальная прозрачность и публичность, она для кого-то является большим преимуществом, когда вы с полицейским встречаетесь, который хочет нарушить ваши права, а для кого-то это, наоборот, большой минус. В зависимости от контекста. Но смысл в том, что это все очень быстро происходит и мы к этому не очень готовы.
Я хочу еще буквально одну фразу сказать про ответственность вот этих искусственных машин, искусственного интеллекта. Мне кажется, мы с неизбежностью в какой-то момент времени будем ставить вопросы именно о юридической правосубъектности искусственных машин. Просто по той причине, что у нас не будет никакого другого способа все это регулировать. Если действительно у вас есть очень сложная автоматизированная система, принимающая решения в реальном мире, то вы можете либо до бесконечности подвергать этической оценке действия ее создателей, и, возможно, вы посадите их в итоге в тюрьму, если они, с вашей точки зрения, совершили какое-то зло. Но в реальности единственный способ все-таки будет говорить о том, что именно сам алгоритм, сама машина слишком сложна для того, чтобы ее понимали ее создатели, она несет ответственность за свои действия. Тут, конечно, начинается немножко анекдотическая дискуссия о том, как можно наказывать алгоритм. Отключать электричество? Не совсем. Потому что нервной системы у алгоритма нет, и он не поймет, что он был неправ. Ну и так далее.
ПРОХОРОВА И.:
У нас еще есть время на пару вопросов из зала. Да, пожалуйста. Может быть, вы тогда к микрофону подойдете?
ИЗ ЗАЛА:
У меня просто реплика. Как раз интересная ситуация у нас сейчас произошла. Как раз первый и последний на данный момент человек, я извиняюсь, имена не запомнил еще. Вы как раз сказали, тот самый интересный момент, когда этика начинает проектироваться. И то, что у вас сейчас произошла такая перманентная дискуссия, вот про луддитов сказали. По идее, человечество перманентно боролось с новыми идеями, всегда им противостояло. И здесь, как раз ситуация, когда нам надо будет чем-то выражать моральные координаты, а чем, как – не понятно, чем их мерить. Но мне кажется, как раз сложность такова сегодня и с такой скоростью эта сложность возрастает, что нам нужны будут какие-то динамические критерии, как это все мерить, как переводить деньги в мораль, как мораль переводить в еще что-нибудь, в какие-нибудь технические параметры. Что не может быть, и, наверное, надо быть готовым к тому, что их не может быть вообще теперь никогда, готовых ответов. Они могут мериться в пределах там двух-трех лет. Напроектировали примерно на такую систему, а далее мы уже посмотрим. То есть, мне кажется, самый интересный тезис как раз таки, что это действительно одна, наверное, из самых сложных проективных наук: как это все совместить, свести воедино? Все, спасибо.
МАРТЫНОВ К.:
Я тоже коротко прокомментирую вашу реплику. Как я понимаю, сейчас все идет к тому, что даже по этому маленькому проекту в MIT можно судить. Вышла фактически одна книжка еще в 2009 году, она называется «Обучая машин морали», ряда американских исследователей. Сейчас все идет к тому, что мы под этикой понимаем то, что большинство считает этичным. То есть мы считаем, что морально то, что большая часть людей считает моральным. Это такой конвенциональный подход, он может многих не устроить, но интересно то, что люди демонстрируют на моделях некоторых мысленных экспериментов этических, самый известный из которых, простите, он уже часто очень обсуждался в разных аудиториях, это мысленный эксперимент про вагонетку. Посмотрите, если не видели, не буду пересказывать. Так вот, люди разных культур, разных возрастов дают на эти вопросы статистически примерно одинаковый ответ, что, в принципе, на самом деле, для многих доказывает, что все-таки наша этика скорее обусловлена тем, что мы homo sapiens, а не тем, какая у нас культура или религия. Ну, понятно, что мы при этом не идеальные этические машины сами по себе, такие биологические этические машины, и то, что мы считаем правильным, часто не делаем.
ПРОХОРОВА И.:
А машина будет делать, да? Вот это вся надежда. Давайте еще один вопрос, и мы тогда дальше пойдем.
ИЗ ЗАЛА:
У меня короткий вопрос. Здесь уже два раза прозвучало слово «общество не готово». Можете сказать, что такое, когда готово общество, и как понять, что оно готово?
МАРТЫНОВ К.:
Я думаю, что общество было фундаментально готово к жизни охотников и собирателей до неолитической революции, соответственно. Все то, что потом случилось, общество ко всему этому было не готово. К сельскому хозяйству, к письменности, к колесу – ко всему этому общество было не готово. Неолитическая революция 10 тысяч лет назад, индустриальная революция 200 лет назад. Если вы посмотрите, как много технологий сейчас проходит в течение жизни одного человека… Ну, какой-то простейший пример, звукозапись например. На чем мы слушали музыку, когда мы были детьми? Мы увидим, что в каждой такой сфере прошло очень много изменений, и мы как-то психологически… Нам же хочется на чем-то остановиться в конечном итоге. Мы не готовы еще во втором этом смысле слова. Потому что неолитическая революция нас особо не касается, мы привыкли просыпаться по будильнику и ехать на работу. Нас это не особенно смущает, все так живут, хотя это не очень нормально для нашего вида. А сейчас все это еще обостряется. Я только это хотел сказать: все быстрее, к сожалению или к счастью, становится и интереснее. Спасибо.
https://komitetgi.ru/school/obraz-budushchego/3343/
