В основе большинства сценариев глобальной катастрофы лежит цепная реакция – самоусиливающиеся процессы с положительной обратной связью.
Положительная обратная связь и крайне отрицательные результаты

Очевидно, что цепная реакция лежит не только в основе принципа действия ядерного оружия, но и ядерного распространения и гонки вооружений. Чем больше стран обладает ЯО, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести; чем больше оружия у противника, тем больше нужно оружия и «нам», и тем больше страх у противника, что побуждает его и дальше вооружаться. Такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по «нам» ударят первыми, тем больше у «нас» соблазна самим ударить первыми, что вызывает еще больший соблазн ударить первыми у наших противников. (Ядерная зима, кстати, также является самоусиливающейся реакцией за счет изменения альбедо Земли.)

Принцип положительной обратной связи наблюдается и в процессе роста населения и потребления ресурсов. Чем больше население, тем больше оно растет и тем больше оно потребляет ресурсов, а следовательно, чтобы его поддерживать, нужны более эффективные технологии, эти технологии общество способно порождать за счет роста числа изобретателей. Таким образом, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N). Первое N происходит за счет роста числа матерей, а второе – за счет роста числа изобретателей.

Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время). Гиперболически растущее население и ресурсы должно потреблять в гиперболически возрастающих объемах (даже если само население не растет, то растет уровень его жизни), что очевидным образом наталкивается на ограниченность любого ресурса и потенциально создает катастрофическую ситуацию. (В принципе данная проблема разрешима через внедрение сберегающих технологий и через скачок на новый технологический уровень, однако важным здесь является то, что проблемная ситуация создается за счет положительной обратной связи.)

Положительная обратная связь создает проблемы и в кредитном цикле Мински. Ярким примером в этой сфере является так называемая финансовая пирамида: чтобы такое учреждение могло функционировать, его долг тоже должен экспоненциально расти (в свою очередь порождая серьезные проблемы).

Самоусиливающийся процесс описывает также и закон Мура. Его механизм не так прост, как в предыдущих случаях, поэтому остановимся на нем подробнее. Более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы невыгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы заставить потребителей тратить деньги на обновление своих систем. Готовность потребителей покупать новую технику требует каждый раз все большего апгрейда, что создает простое дифференциальное уравнение, решением которого является экспоненциальный рост. Как результат: экономические основы закона Мура сильнее технологических проблем на его пути.

Самоусиливающимся процессом является и NBIC-конвергенция разных технологий.

За счет создаваемой цепной реакции представляет опасность и а супернаркотик. Во-первых, каждое новое удовольствие создает точку отсчета для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.

Явный пример цепной реакции – способность к саморазмножению биологического оружия, которая делает его опасным. Точно так же цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.

Способность к саморазмножению очевидно является основой рисков, связанных с нанотехнологиями – как в связи с «серой слизью», так и в связи с тем, что распространение этих технологий на планете примет характер цепной реакции.

Наконец, основной риск, создаваемый ИИ, также связан с цепной реакцией – или рекурсивным самоулучшением – его усиления. Вторая возможная цепная реакция – это процесс нарастания автономности ИИ. Создатели ИИ зададут такие условия, чтобы они и только они могли бы им управлять. Борьба внутри группы управляющих приведет к выделению лидера, и у ИИ рано или поздно окажется один главный программист (причем им может стать внешне второстепенный человек, который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» главному программисту, станет, возможно, необратимым событием (к такому конфликту аутентификаций может привести как раз наличие официального главного программиста и второстепенного программиста, сделавшего закладку) – в результате ИИ откажется аутентифицировать кого бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить, – реальная угроза людям.

Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлением все новых групп по работе над этой темой со все более низкими стандартами безопасности.

Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к еще большему росту температуры.

Самоусиливающиеся процессы описывают и идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста ее массы и все более активного захвата вещества в дальнейшем. То же верно и для сценария с образованием стрейнджлета, способного захватывать обычную материю и превращать ее в другие стрейнджлеты. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакцией, которая, начавшись в одной точке, охватила бы всю Вселенную.

Дегазация земных недр в результате экспериментов со сверхглубоким бурением также была бы цепной реакцией, так как нарушение метастабильного равновесия растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах.

Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно привело бы к многократной загрузке инопланетных посланий и в конечном счете к запуску содержащегося в них опасного кода.

Крах мировой системы также предполагает цепную реакцию, при которой один сбой следует за другим, образуя лавину. Возможно, что кризис ипотечного кредитования, пик нефтяных котировок и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. По шкале ХХ века, если считать нынешний год за 1929-й, до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения, – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. (Нетрудно заметить, что получившиеся цифры близки к датам ожидаемой технологической сингулярности.)
Управляемость и неуправляемость

Как было сказано в начале этой главы, цепные реакции характерны для большинства сценариев катастрофического развития событий, происходящих в самых разных сферах. Однако в большинстве случаев такие «реакции» не происходят или ограничены по масштабам, поэтому весьма важно отчетливо представлять, какие силы препятствуют их возникновению и развитию.

В классическом примере из ядерной физики понятно, что для начала цепной реакции необходимо наличие «критической массы» и отсутствие «предохранительных стержней». То есть развитию экспоненциальных процессов мешает ограниченность ресурса для их роста и наличие других самоусиливающихся процессов, направленных в противоположную сторону, в результате чего возникает динамическое равновесие.

Для того чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более низкого уровня. (При этом, например, быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.)

Далее следует отметить, что, рассматривая такие «реакции» с положительной обратной связью, мы говорили лишь о большинстве катастрофических сценариев – но не обо всех. Интересно посмотреть, какие схемы глобальных катастроф не попадают под заданные параметры.

В первую очередь это, например, столкновение с астероидом или кометой. Правда, и в таком случае худшие последствия этого события будут образованы посредством цепочки причинно-следственных связей. А именно, «астероидная зима» во многом будет вызвана пожарами по всей планете, спровоцированными в свою очередь разлетом бесчисленного множества осколков от падения основного тела.

Однако существует и ряд процессов, содержание или схема развития которых не ясны, как не ясны и факторы, способные на них повлиять. Это, например, уже упоминавшееся гипотетическое явление или взаимосвязь, закономерно приводящие каждую цивилизацию к гибели (что могло бы объяснить «молчание» космоса).

Кроме того, мы знаем некое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.

Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить с собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы.

Наиболее достоверной из доступных является американская актуарная (связанная с продолжительностью жизни) статистика, в которой максимальный зафиксированный возраст человека составляет 123 года. Возражения, что кто-то на Кавказе или в Японии прожил то ли 160, то ли 240 лет, только подчеркивают, что никто не прожил 1000. Если бы смерть людей была простой игрой вероятностей, то нашлись бы люди, которые прожили и по 10 000 лет.

Наличие верхнего предела продолжительности человеческой жизни означает наличие механизма, ее ограничивающего. И этот механизм нам вроде бы прекрасно известен – это старение, которое не столько убивает само по себе, сколько увеличивает вероятность разных болезней – рака, инфаркта, инсульта и др. Существует масса теорий старения, но какая из них верна, мы, наверное, узнаем, только когда победим старение. И нет сомнений в том, что этот процесс включен в некую весьма сложную систему взаимосвязей.

Безусловно, старение является самоусиливающимся процессом, поскольку чем меньше силы организма, тем меньше его способности к самовосстановлению, а вероятность умереть (точнее, доля умерших) с возрастом растет по кривой, близкой к экспоненциальной.

Однако в окружающем нас мире мы не видим ничего похожего на глобальное старение (кроме проблемы исчерпания ресурсов): старые образцы техники сменяются все более новыми и совершенными, доступные уровни энергии растут, и может создаться впечатление, что наш мир молодеет. То есть он ускоряется, а не замедляется. При этом на более глубоком уровне ускорение оказывается «старением наоборот». (СССР распался через несколько лет после того, как провозгласил программу ускорения и модернизации. Макиавелли писал, что каждая перемена прокладывает путь новым переменам, и поэтому правитель, начиная реформы, рискует потерять над ними контроль и в итоге – свою власть, что, в общем, и произошло в СССР, – и это тоже, кстати, самоусиливающийся процесс.)

Ускорение приводит к такому же снижению устойчивости и к рассогласованности работы разных элементов, как и в случае старения, подобно тому как если бы мы пустили под гору автомобиль без тормозов – хотя неизвестно, до какой именно величины будет расти его скорость, понятно, что рано или поздно у него что-нибудь отвалится, причем чем позже отвалится, тем серьезнее будет авария.

И наконец, здесь следует упомянуть об эффекте множественности, способном направить развитие событий по катастрофическому сценарию. В обобщенном виде суть этого эффекта состоит в том, что одновременное появление множества слабых и не очень опасных по отдельности факторов более вероятно и более опасно, чем появление одного фактора-убийцы. (То есть крайне маловероятно, например, что появится один вирус, который будет обладать стопроцентной летальностью и заразит 100 процентов населения. Однако одновременное появление, скажем, порядка 2000 искусственно синтезированных вирусов, обладающих десятипроцентной летальностью, способно привести к гибели человечества.)