Способность человека к творчеству можно представить как процесс вытаскивания шаров из гигантской урны. Шары олицетворяют идеи, открытия и изобретения. На протяжении истории мы добыли множество шаров, большинство из которых принесло нам пользу. Остальные же представляют собой различные оттенки серого: смесь хорошего и плохого, чистый эффект которых трудно оценить.

Что мы еще не извлекли из этой урны, так это черный шар: технологию, которая неизбежно уничтожит цивилизацию, создавшую ее. Это не потому, что мы особенно осторожны или мудры в том, что касается инноваций. Нам просто повезло. Но что, если этот шар все же скрывается где-то в урне? Если научные и технологические исследования продолжатся, мы в конечном итоге вытащим его и не сможем вернуть обратно. Мы можем изобрести что-то, но не можем отыграть это назад. Человечество, похоже, просто надеется, что черного шара нет.

К счастью для нас, самую разрушительную технологию человечества на сегодняшний день — ядерное оружие — чрезвычайно трудно освоить. Но осмыслить возможные эффекты черного шара можно, представив, что произошло бы, если ядерные реакции были бы проще. В 1933 году физику Лео Сциларду пришла в голову идея цепной ядерной реакции. Более поздние исследования показали, что для создания атомного оружия потребуется несколько килограммов плутония или высокообогащенного урана, которые очень сложно и дорого производить. А теперь представьте, что Сциллард нашел бы более простой способ создать ядерную бомбу — скажем, в обычной кухонной раковине, используя кусок стекла, металла и батарейку.

Сциллард столкнулся бы с дилеммой. Он мог бы никому не рассказывать о своем открытии, но это не помешало бы другим ученым наткнуться на него. А рассказав, он гарантировал бы дальнейшее распространение опасных знаний. Представьте себе, что Сциллард доверился своему другу Альберту Эйнштейну. Они решили написать письмо президенту Соединенных Штатов Франклину Рузвельту, и его администрация запретила все исследования в области ядерной физики за пределами государственных объектов с высоким уровнем безопасности. Столь жесткие меры сразу вызвали множество толков. Группы ученых заинтересовались тайной опасностью, некоторые из них догадались, в чем дело. Неосторожные или недовольные сотрудники государственных лабораторий проворонили информацию, а шпионы донесли секрет в иностранные столицы. Даже если каким-то чудом секрет не просочился, ученые в других странах в итоге открыли бы его самостоятельно.

Или, возможно, правительство США ликвидировало бы все стекло, металл и источники электрического тока за пределами нескольких хорошо охраняемых военных складов? Такие крайние меры встретили бы жесткое сопротивление. Однако после того, как над несколькими городами поднялись бы грибовидные облака, общественное мнение могло измениться. Стекло, батарейки и магниты были бы изъяты, а их производство запрещено, тем не менее, осколки остались кое-где вокруг, и в конечном итоге они попали бы в руки нигилистов, вымогателей или людей, которые просто хотят «увидеть, что произойдет», если привести в действие ядерное устройство. В конце концов, многие места оказались бы разрушены или заброшены. За хранение запрещенных материалов предполагалось бы суровое наказание. В обществе появилось бы строгое наблюдение: сети информаторов, рейды службы безопасности, задержания. Нам оставались бы только попытки каким-то образом восстановить цивилизацию без электричества и других предметов первой необходимости, которые считаются слишком опасными.

Это оптимистичный сценарий. При более пессимистичном закон и порядок полностью рухнут, а общества разделятся на фракции, между которыми разыграются ядерные войны. Распад закончится только тогда, когда мир будет разрушен до такой степени, что больше невозможно будет делать бомбы. Но даже тогда об опасном открытии будут помнить и рассказывать потомкам. И если цивилизация восстанет из пепла, память будет начеку, готовая воскреснуть, как только люди снова начнут производить стекло, электричество и металл. И даже если эти знания окажутся забытыми, их откроют заново, как только возобновятся исследования в области ядерной физики.

Одним словом, нам повезло, что создать ядерное оружие оказалось непросто. Мы вытащили серый шар. Тем не менее, с каждым новым изобретением человечество снова запускает руку в урну.

Предположим, что в урне творчества есть хотя бы один черный шар. Мы называем это «гипотезой уязвимого мира». Интуитивная идея состоит в том, что существует некий уровень технологий, на котором цивилизация почти наверняка будет уничтожена, если только не будут применены экстраординарные и исторически беспрецедентные меры превентивного полицейского контроля и/или глобального регулирования. Мы не утверждаем, что гипотеза верна — мы считаем ее открытым вопросом, хотя было бы неразумно, учитывая имеющиеся данными, быть уверенными в ее ложности. Напротив, суть в том, что эта гипотеза полезна, поскольку помогает прояснить важные моменты о макростратегической ситуации человечества.

Вышеупомянутый сценарий — назовем его «легким ядерным оружием» — представляет собой один из видов потенциального черного шара, с помощью которого отдельные люди или небольшие группы могут легко вызвать массовое разрушение. Учитывая разнообразие человеческих характеров и обстоятельств, всегда найдется какая-то часть людей («апокалиптический остаток»), которые решат предпринять какое-либо неблагоразумное, аморальное или саморазрушающее действие — мотивированные идеологической ненавистью, нигилистической деструктивностью или местью за предполагаемую несправедливость, с целью вымогательства, либо просто заблуждаясь. Существование этого апокалиптического остатка означает, что любой достаточно простой инструмент массового уничтожения практически наверняка приведет к уничтожению цивилизации.

Это один из возможных типов черных шаров. Второй тип — это технологии, которые стимулируют могущественных деятелей на массовое уничтожение. Мы снова можем обратиться к ядерной истории: после изобретения атомной бомбы между США и Советским Союзом началась гонка вооружений. У обеих стран появились ошеломляющие арсеналы — к 1986 году на двоих у них было более 60 тысяч ядерных боеголовок — более чем достаточно, чтобы уничтожить цивилизацию.

К счастью, во время холодной войны у ядерных сверхдержав не было веского повода, чтобы развязать ядерный армагеддон, хотя несущественные — были. Существовали мотивы, чтобы балансировать на грани войны, а в кризисной ситуации — нанести удар первыми. Многие политологи считают, что важным фактором, почему холодная война не привела к ядерному холокосту, было появление к середине 1960-х годов более надежных возможностей для «второго удара» у обеих сверхдержав. Арсеналы обеих стран могли пережить ядерное нападение и затем нанести ответный удар, и это значительно уменьшало стимул для атаки.

Но теперь рассмотрим альтернативный сценарий — «безопасный первый удар» — при котором технологии позволяли бы полностью уничтожить противника, прежде чем он нанесет ответный удар. Если бы такая возможность существовала, взаимный страх легко мог бы спровоцировать тотальную войну. Даже если ни одна из держав не хотела уничтожать противника, одна из них, тем не менее, могла почувствовать себя вынужденной нанести удар первой — чтобы не рисковать. Можно еще больше усугубить противоречие, предположив, что задействованное оружие легко спрятать — при этом было бы невозможно создать надежную схему проверки сокращения вооружений, которая могла бы решить дилемму безопасности.

Изменение климата может служить иллюстрацией третьего типа черного шара. Назовем этот сценарий «худшим глобальным потеплением». В реальном мире антропогенные выбросы парниковых газов, вероятно, приведут к повышению средней температуры на 3,0–4,5 градуса по Цельсию к 2100 году. Но представьте, что параметр чувствительности климата Земли иной — и при нем те же выбросы углерода вызовут гораздо большее потепление, чем прогнозируют ученые, — скажем, на 20 градусов. Чтобы усугубить сценарий, представьте, что ископаемых видов топлива еще больше, а альтернативы чистой энергии более дороги и технологически сложны, чем на самом деле.

В отличие от сценария «безопасный первый удар», где есть влиятельный субъект, который сталкивается с сильными стимулами для проведения сложных и чрезвычайно разрушительных действий, сценарий «худшего глобального потепления» не требует такого субъекта. Все, что нужно, — это большое число незначительных по отдельности субъектов — потребителей электроэнергии, водителей — у каждого из которых есть мотив делать то, что очень незначительно способствует появлению разрушительной для цивилизации проблемы. Общее у этих двух сценариев то, что существуют стимулы, которые побуждают широкий круг субъектов предпринимать действия, убивающие человечество.

Если бы гипотеза уязвимого мира была верна, это было бы плохой новостью. Однако, есть несколько способов спасти цивилизацию от технологического черного шара. Можно вообще перестать вытаскивать шары из урны, прекратив всякое технологическое развитие. Вряд ли это реально, и, даже если возможно, это было бы чрезвычайно дорого, вплоть до того, что само по себе вызвало бы катастрофу.

Другой теоретически возможный способ решения проблемы — это фундаментальная перестройка человеческой природы для устранения апокалиптических остатков. Можно было бы пресечь любые стремления влиятельных деятелей рисковать будущим цивилизации, даже если это служит жизненно важным интересам национальной безопасности, а также привычки обычных людей выбирать личное удобство, когда это наносит малозаметный ущерб глобальному благополучию. Такая перестройка глобальных предпочтений кажется очень сложной, и у нее есть собственные риски. Ее частичный успех не обязательно приведет к пропорциональному снижению уязвимости цивилизации. Например, сокращение апокалиптического остатка на 50% не снизит вдвое риски сценария «легкое ядерное оружие», поскольку во многих случаях , чтобы разрушить цивилизацию, достаточно одного человека. Риск значительно снизился бы только при практически полном устранении апокалиптического остатка во всем мире.

Остается два варианта обезопасить мир от черного шара. Первый — чрезвычайно надежный контроль, который помешает любому отдельному человеку или небольшой группе совершать опасные незаконные действия. А второй — сильное глобальное управление, которое могло бы решить самые серьезные проблемы коллективных действий и обеспечить прочное сотрудничество между государствами — даже когда у них есть серьезные мотивы отступить от соглашений. Пробелы в управлении, на устранение которых направлены эти меры, — это две ахиллесовы пяты современного мирового порядка. Пока они не решены, цивилизация остается уязвимой для технологического черного шара. Однако до тех пор, пока такое открытие не появится из урны, эту уязвимость легко не заметить.

Давайте посмотрим, как можно защититься от этих опасностей.

Представьте, что мир попал в сценарий, похожий на «легкое ядерное оружие». Допустим, кто-то обнаружил очень простой способ массового уничтожения, информация об открытии распространяется, материалы доступны повсеместно, и их нельзя быстро убрать из обращения. Чтобы предотвратить разрушения, государства должны достаточно пристально следить за своими гражданами, чтобы перехватить любого, кто готовит акт массового уничтожения. Если технология черного шара достаточно разрушительна и проста в использовании, нельзя допустить, чтобы даже один человек уклонился от сети наблюдения.

Вот набросок «высокотехнологичного паноптикума», чтобы вы могли представить уровень наблюдения. Каждый гражданин получает «бирку свободы» (с намеренным оруэлловским подтекстом, как напоминание о всем диапазоне способов применения такой системы). Бирку свободы можно носить на шее и оборудовать разнонаправленными камерами и микрофонами, непрерывно загружающими зашифрованные видео и аудио на компьютеры, которые интерпретируют потоки в реальном времени.

При обнаружении признаков подозрительной активности, данные перенаправляются на одну из нескольких «станций мониторинга повстанцев», где их просмотрит «офицер по свободе» и определит дальнейшие действия, например, свяжется с владельцем бирки через динамик и потребует объяснений или включит лучший обзор. Офицер может направить для расследования подразделение быстрого реагирования или, возможно, полицейский дрон. Если владелец не прекращает заниматься запрещенной деятельностью после неоднократных предупреждений, власти могут арестовать его. Гражданам не разрешается снимать бирку, за исключением мест, которые оборудованы соответствующими внешними датчиками.

В принципе, такая система могла бы иметь сложные средства защиты конфиденциальности и обезличивать данные, такие как лица и имена, если они не требуются для расследования. Инструменты искусственного интеллекта и человеческий надзор могут внимательно следить за офицерами, чтобы не допустить злоупотребления с их стороны. Создание такого паноптикума потребует значительных инвестиций. Но благодаря падению цен на соответствующие технологии вскоре это может стать технически осуществимым.

Впрочем, это не то же самое, что политически осуществимое. Однако сопротивление таким шагам ослабнет после того, как будут уничтожены несколько крупных городов. Скорее всего, будет решительно поддержана политика массового вторжения в частную жизнь и нарушения гражданских прав ради предотвращения еще одной атаки — включая, например, заключение в тюрьму 100 невиновных людей ради поимки одного настоящего заговорщика. Но если уязвимости цивилизации не доказаны неопровержимо, такие решительные превентивные меры могут никогда не быть реализованы.

Вернемся к сценарию «безопасного первого удара». Здесь страны сталкиваются с проблемой коллективных действий, и неспособность ее решить означает, что цивилизация по умолчанию будет разрушена. С первым черным шаром почти наверняка возникнут и новые — крайние и беспрецедентные — проблемы, ведь государствам часто не удавалось решить гораздо более простые вызовы коллективных действий, о чем свидетельствуют оспины войны, покрывающие человеческую историю с головы до ног. Поэтому цивилизация будет разрушена по умолчанию.

Однако при эффективном глобальном управлении решение почти тривиально: просто запретить всем государствам использовать черный шар деструктивно. (Под эффективным глобальным управлением мы понимаем мировой порядок с единственным субъектом, принимающим решения. Это абстрактное условие, которое может быть выполнено с помощью различных механизмов: мирового правительства, достаточно могущественного гегемона, высокоразвитой системы межгосударственного сотрудничества. Каждая схема сопряжена со своими трудностями, и мы не занимаем здесь никаких позиций по поводу того, какая из них лучше.)

С одними технологическими черными шарами можно справиться только с помощью превентивных полицейских мер, а для других потребуется только глобальное управление. Третьим, однако, потребуется и то, и другое. Рассмотрим биотехнологический черный шар, достаточно мощный, чтобы единственное использование со злым умыслом вызвало пандемию, которая убьет миллиарды людей — ситуация типа «легкого ядерного оружия». В этом сценарии недопустимо, чтобы хотя бы одно государство не внедрило механизм для непрерывного наблюдения за своими гражданами. Государство, которое отказывается реализовывать необходимые гарантии, будет преступным членом международного сообщества. Аналогичный аргумент применим к таким сценариям, как «худшее глобальное потепление», когда одни государства склонны безнаказанно использовать затратные усилия других. Тогда потребуется эффективный институт глобального управления, который заставит каждое государство вносить свой вклад.

Ни один из вариантов не выглядит привлекательным. Система тотального наблюдения или институт глобального управления, способные навязывать свою волю каждой стране, могут иметь очень плохие последствия. Улучшенные средства социального контроля помогут предотвращать восстания в деспотических режимах, а наблюдение позволит навязывать гегемонистскую идеологию или нетолерантное мнение большинства во всех аспектах жизни. Между тем глобальное управление может ухудшить эффективные формы межгосударственной конкуренции и разнообразия, создав мировой порядок с единой точкой отказа. Такой институт, настолько удаленный от людей, не воспринимается легитимным, кроме того, он более подвержен бюрократии или уклонению от общественных интересов.

Тем не менее, как бы это нас ни угнетало, усиление надзора и глобального управления может иметь и положительные последствия, помимо стабилизации уязвимости. Более эффективные методы общественного контроля могут снизить уровень преступности и уменьшить необходимость суровых уголовных наказаний. Также они могут способствовать созданию атмосферы доверия, которая открывает новые формы социального взаимодействия. Глобальное управление могло бы предотвратить межгосударственные войны, решить многие экологические и другие общие проблемы и со временем, возможно, способствовать усилению чувства космополитической солидарности. Ясно, что есть веские аргументы за и против движения в любом направлении, и мы не оцениваем баланс этих аргументов.

А как насчет сроков? Даже если мы серьезно обеспокоимся тем, что в урне изобретений есть черный шар, нам, возможно, нет нужды прямо сейчас внедрять усиленное наблюдение или глобальное управление. Эти шаги могут быть предприняты позже, когда гипотетическая угроза станет очевидной.

Кажется, следует усомниться в целесообразности выжидательного подхода. Как мы видели, на всем протяжении холодной войны две сверхдержавы жили в постоянном страхе перед ядерным уничтожением, которое могло произойти в любой момент случайно или в результате нарастающего кризиса. Этот риск можно было бы существенно снизить, просто избавившись от ядерного оружия. Однако по прошествии более чем полувека мы видим лишь частичное разоружение. Пока еще мир оказался не в состоянии решить эту наиболее очевидную проблему коллективных действий. Это не вселяет уверенности в том, что человечество быстро разработает эффективный механизм глобального управления, даже если возникнет явная потребность.

Даже если кто-то испытывает оптимизм по поводу того, что в конечном итоге соглашение может быть достигнуто, проблемы международных коллективных действий могут долго оставаться нерешенными. Потребуется время, чтобы объяснить, почему такая договоренность необходима, чтобы урегулировать и проработать детали, и собственно заключить ее. Но промежуток времени между четко видимым риском и моментом, когда необходимы меры по стабилизации, может быть коротким. Так что, возможно, неразумно полагаться на спонтанное международное сотрудничество, чтобы спасти положение, когда серьезная уязвимость уже появилась.

Ситуация с превентивным контролем в некоторых отношениях похожа. Сложный глобальный паноптикум невозможно создать в одночасье. На внедрение такой системы уйдет много лет, не говоря уже о времени, необходимом для получения политической поддержки. Тем не менее, возможно у уязвимости не будет никаких предвестников. Например, на следующей неделе группа академических исследователей опубликует в Science статью, рассказывающую об инновационном методе синтетической биологии. Два дня спустя популярный блогер напишет пост, объясняющий, как любой человек может использовать новый инструмент для массового уничтожения. В таком сценарии потребуется включить интенсивный социальный контроль почти немедленно. Когда конкретная уязвимость станет очевидной, будет слишком поздно браться за разработку архитектуры наблюдения.

Вероятно, нам стоит заранее разработать сценарии для навязчивого наблюдения и перехвата в реальном времени, но не использовать их. Дав цивилизации возможности для чрезвычайно эффективных превентивных действий полиции мы, по крайней мере, приблизились бы к стабильности. Но разработка системы «тоталитаризма под ключ» рискованна, даже если ключ не повернут. Можно попытаться смягчить риск, используя систему «структурированной прозрачности», которая обеспечивает защиту от неправомерного использования.

Система могла бы работать только с разрешения нескольких независимых заинтересованных сторон и предоставлять только конкретную информацию, которая по закону необходима тем, кто принимает решения. Кажется, нет фундаментальных препятствий для создания системы наблюдения, которая одновременно будет высокоэффективной и устойчивой к злоупотреблениям. Но насколько она может быть реализована на практике, конечно, другой вопрос.

Все эти потенциальные варианты снижения риска достаточно сложны, так что, возможно, руководителям и политикам стоит сначала сосредоточиться на частичных и наиболее простых решениях — на упорядочивании определенных, наиболее рискованных, областей, таких как биотехнологические исследования. Правительства могли бы укрепить Конвенцию о биологическом оружии, увеличив ее финансирование и наделив ее правом контроля. Власти могли бы усилить надзор за биотехнологической деятельностью, разработав более эффективные способы мониторинга ученых и отслеживания потенциально опасных материалов и оборудования.

Например, чтобы предотвратить кустарную генную инженерию, правительства могут ввести лицензионные требования и ограничить доступ к некоторым передовым инструментам и информации. Не стоит давать каждому возможность покупать машину для синтеза ДНК, такое оборудование нужно ограничить небольшим количеством тщательно контролируемых поставщиков. Власти также могут улучшить системы информирования о нарушениях, поощряя сообщения о потенциальных злоупотреблениях. Они могли бы призвать организации, финансирующие биологические исследования, шире взглянуть на потенциальные последствия такой работы.

Тем не менее, преследуя такие ограниченные цели, следует иметь в виду, что предлагаемая защита охватывает только определенные подмножества сценариев и может быть временной. Тем, кто способен влиять на макропараметры превентивного полицейского надзора или глобального управления, нужно учитывать, что фундаментальные изменения в этих областях могут быть единственным способом уберечь нашу цивилизацию от технологических уязвимостей.

Черный шар технологий: грозит ли опасность нашей цивилизации?