В 2008 году выходит очередной номер авторитетного журнала по прогнозированию Futures, посвященный рискам человеческого вымирания. Составитель этого выпуска Брюс Тонн объявил, что принимает на рассмотрение статьи любой тематики, связанные с рисками человеческого вымирания, за исключением темы «инопланетного вторжения». Но, собственно говоря, почему?

В сущности, понятно. Поскольку Futures – авторитетный журнал, а интерес к инопланетянам ассоциируется с псевдонаукой и маргиналами, публикация материалов на эту тему могла бы подорвать доверие к самому журналу, к научной честности Тонна, к тематике рисков человеческого вымирания. С другой стороны, очевидно, что эти проблемы связаны с особенностями человеческого общества и научной конкуренции, а не с реальной вероятностью угрозы со стороны внеземного разума. Ведь чтобы доказать, что эта угроза равна нулю, требуется хорошо обоснованное научное исследование. (Отказ от доказывания в таком случае – не доказательство.)

Впрочем, мы можем реконструировать логические причины отказа Тонна от рассмотрения рисков инопланетного вторжения. Среди них есть чисто статистические соображения: крайне маловероятно, чтобы инопланетяне прилетели к нам именно сейчас, а не на миллиард лет раньше или позже. С другой стороны, Тонн заявил, что имеет смысл рассматривать любой риск человеческому существованию, вероятность которого больше, чем 1 к 10 миллиардам.

Вторая причина отказа от рассмотрения рисков, связанных с прилетом инопланетян, – это отсутствие каких-либо проявлений их деятельности в наблюдаемом космосе, а также тот факт, что мы до сих пор существуем и Солнечная система не колонизирована. Из этого можно с высокой вероятностью заключить, что разумные цивилизации крайне редки во Вселенной. Эта идея также известна как парадокс Ферми: если жизнь и разум являются естественным порождением материи в нашей Вселенной, то, собственно говоря, где они?

Есть много разных решений парадокса Ферми – одно из них это гипотеза «редкой Земли», которая предполагает, что условия для зарождения жизни и разума очень маловероятны и обитаемые планеты встречаются исключительно редко. Крайней формой этого мировоззрения является идея о том, что Земля уникальна в пределах наблюдаемой Вселенной (этой идеи под конец жизни стал придерживаться, например, знаменитый советский астрофизик И.С. Шкловский).

Другим решением является то, что разумные цивилизации всегда уничтожают себя на раннем этапе развития. Есть также несколько других вариантов, например, что цивилизации замыкаются в себе или что они уже незримо присутствуют вокруг Земли и мы живем в своеобразном космическом зоопарке.

Ни одна из этих гипотез не имеет под собой больше оснований, чем другая, и мы, пользуясь принципами так называемой байесовой логики – способом вычисления субъективных оценок вероятности неких событий на основании теоремы Байеса – можем приписать всем этим гипотезам равные вероятности.

При этом остается одна лазейка, в результате которой атака внеземного разума становится возможной именно сейчас. Она возникает в случае, если разумные цивилизации настолько разбросаны, что не могут совершать межзвездных перелетов друг к другу, но все же достаточно близки, чтобы иметь возможность посылать друг другу радиосообщения. Такая вероятность невелика – не более нескольких процентов по той же байесовой логике. Однако это значительно больше, чем невозможность. Речь идет об использовании радиосигналов для передачи компьютерных самообучающихся программ, то есть ИИ.
SETI, поиски разума и дыра в глобальной безопасности

В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной.[27] C тех пор развиваются два направления поиска: это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (но также есть поиски сигналов в оптическом диапазоне и более экзотические варианты), и в виде METI (Messaging to Extraterrestrial Intelligence) – то есть отправки наших сигналов к звездам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, которая может быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно.

Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. (В этой статье мы не будем касаться проблематики, связанной с рисками программ METI.) Вместе с тем пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность. Однако есть точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и, как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.

Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, ничего пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако следует отметить, что в действительности интенсивность поисков значительно выросла, и в первую очередь здесь нужно упомянуть проект ATA – Allen Telescope Array, который создается на частные средства одного из основателей Microsoft Пола Аллена.[28] Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звезд, в 1970-е – сотен звезд, а к 1990-м это число выросло до тысячи, то проект АТА предполагает прослушивание миллиона звезд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Вести наблюдение будут одновременно 350 шестиметровых антенн, и мощные компьютеры будут обрабатывать поступающие данные.

Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растет. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумным (с точки зрения принципа предосторожности в оценке рисков) оценить ее не менее чем в 10 процентов. (Хотя ряд исследователей[29] и считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)

В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приему и отправке сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции»,[30] которая вышла в 2007 году. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдет через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.

Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в романе «Андромеда»[31] (1961). (Сначала вышел сериал ВВС «A for Andromeda», который, за исключением одной серии, к сожалению, не сохранился, а затем на его основе был написан роман, где основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 году.)

Согласно сюжету астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на его военное применение и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо этого компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на все большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.

Ганс Моравек в книге «Дети ума»[32] (1988) предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.

С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью «Следует ли обеззараживать сигналы SETI»,[33] которую я перевел на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищенных машин программы SETI-Home. (Суть программы состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жесткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможны.

В своей статье Кэрриген сосредотачивается на легкости передачи гигабайт данных на межзвездные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указывает, что межзвездный сигнал может содержать наживку, которая побудит людей собрать по чертежам опасное устройство. При этом Кэрриген не отказался от гипотезы о том, что в некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)

На Земле была создана CosmicOS[34] – способ записи самодостаточных сообщений с использованием только четырех символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе все необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далеким потомкам. А раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.

В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска»,[35] где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасным в случае, если бы он был неверно запрограммирован, и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается.

Кроме того, Юдковски ввел понятие Seed AI– зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed Сможет быть всего лишь порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3 процента от всего генокода человека, имеющего объем в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и еще меньше.)

Атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи хорошо показана в фантастическом романе В. Винджа «Пламя над бездной».[36]
Уязвимость SETI и сценарий возможной атаки

В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально, чтобы другая цивилизация захотела и стала посылать такое сообщение, и каковы шансы на него наткнуться.

В начале отметим, что для доказательства уязвимости достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач значительно различается, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны. Постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI.

Прежде всего хочу предостеречь читателя от мысли, что если он найдет ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI – поскольку возможны альтернативные пути атаки. В соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения (например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат), хочу обратить внимание читателя также на то, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более года размышлений. Наконец, предлагаемый мною алгоритм не единственный, и далее мы обсудим кратко другие варианты.

В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом. Алгоритм атаки:

1. Цивилизация – отправитель сигнала создает маяк в космосе, который привлекает своим явно искусственным сообщением.

Например, это может быть звезда, окруженная сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идет разное расстояние. Тем не менее такой маяк может быть виден на расстоянии миллионов световых лет.

Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния.) Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику.

2. Источник передает бинарную информацию (то есть последовательность 0 и 1).

На возражения о том, что эта информация будет содержать шумы, замечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала.

Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача изображений.

Во-первых, потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трехмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприемник – и принять этот сигнал.

Во-вторых, двухмерные изображения нетрудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развертки.

В конце каждой строки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):

0000000100000011111111111111111

0000001110000011111111111111111

0000011111000011111111111111111

Здесь концевым сигналом строчной развертки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.

Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.

С помощью картинок и фильмов можно передать много информации, можно даже обучить языку, показать свой мир.

Очевидно, что можно много спорить о том, насколько такие фильмы будут понятными. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно: они знают радиотехнику – то есть имеют представление о транзисторах, конденсаторах, резисторах. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы.)

Посылая фотографии с изображением справа радиодеталей, а слева – их условных обозначений, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)

3. Цивилизация-отправитель передает чертеж простейшего компьютера с помощью указанных обозначений.

Простейший с аппаратной точки зрения компьютер – это машина Поста. У нее только шесть команд и одна лента данных. Ее полная электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертеж машины Поста нетрудно. Впрочем, это может быть и чертеж более сложной вычислительной машины – например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Важен баланс – чем сложнее машина, тем проще для нее программы, но тем труднее безошибочно переслать ее чертеж. Кроме того, очень простые компьютеры работают очень медленно.)

Возможен двухступенчатый вариант – сначала передается описание очень простой машины и программа для нее, а эта программа чертит чертеж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует: вычислительная машина создает биокомпьютер в виде человека – девушки Андромеды, – который работает еще эффективнее.)

Важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале XIX века, была Тьюринг-совместимой.

4. Цивилизация-отправитель начинает передавать программы для этого компьютера.

Несмотря на то что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя в сравнении с записью программы для более сложного компьютера ее запись будет очень длинной. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нем достаточно быстро. (Впрочем, на начальном этапе время не критично и может составлять месяцы непрерывной работы.)

Что может побудить людей создать пересланный компьютер и выполнять на нем программы? Вероятно, помимо схемы компьютера и программ в сообщении должна быть некая «наживка», которая побудила бы людей создать такой компьютер, запустить на нем инопланетные программы и предоставить этому компьютеру данные о внешнем земном мире.

Наживки бывают двух родов – соблазны и угрозы.

• Возможно следующее «честное предложение» – назовем его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно ее целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить все наши медицинские и энергетические проблемы.

• «Соблазн абсолютной власти» – в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.

• «Неведомая угроза» – в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например от другой враждебной цивилизации, и чтобы от нее защититься, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определенного класса физических экспериментов на ускорителях и разослать это сообщение дальше по галактике. А чтобы его разослать, придется построить по внеземным технологиям передатчик.

• «Неутомимый исследователь» – отправители утверждают, что отправка сообщений – самый дешевый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.

• «Галактический Интернет» – человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звездами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны, и наверняка найдется много людей, которые пожелают это сделать.

Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым кодом состоит не в том, какая именно в нем будет содержаться наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей.

Во-первых, среди них всегда найдется тот, кому наживка понравится.

Во-вторых, допустим, в мире станет известно, что из определенной точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать.

Разумеется, все другие страны сразу же начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество.

Они найдут сообщение и увидят, что, например, в нем находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код, и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества и пытаются лишить этих преимуществ все «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся те, кто будет готов рискнуть. Тем более что в данном случае игра будет вестись по принципу «начавший первым получает все», равно как и в случае открытия ИИ, как подробно показывает Юдковски.

Итак, опасна не наживка, а множественность ее получателей. Если же инопланетное послание в сыром виде утечет в Интернет (а его размер, достаточный для запуска Seed AI, может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то мы получим классический пример «знаний массового поражения», как сказал Билл Джой,[37] имея в виду правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его и без всякой наживки.

Итак, наличие Интернета и возможности многократно загружать послание делают его запуск людьми практически неизбежным.

5. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности контроля над ним.

Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в черный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребенка. Если ИИ вырвется в Интернет, то он может быстро подчинить его себе целиком, а также обучиться всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем, закупив биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают), ИИ может создать продвинутые нанотехнологии.

Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется несколько недель.

Сильному ИИ для реализации каких-либо его целей люди не нужны. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.

6. Данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это следует из того, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.) Чтобы достичь этой цели, ИИ начнет, вероятно, превращать материю Солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.

Итак, мы рассмотрели возможный сценарий атаки, который состоит из шести этапов. Каждый из этих этапов выглядит логически убедительным и может быть подвергнут критике и защищен по отдельности.

Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку, и пытаться ее вскрыть. А на самом деле это будет нечто вроде троянского коня.

Однако опасной может быть не только рассылка исполняемого кода. Например, нам могут сообщать о полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе: «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Анализ возможных целей атаки

Теперь обратимся к анализу целей сверхцивилизации, которая могла бы осуществлять такую атаку.

Прежде всего, мы не должны путать понятия о «сверхразвитой» и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит – об этом хорошо написано у Стругацких в романе «Волны гасят ветер».

Какие бы цели нам ни навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятными. А если SETI-атака удалась, то ее можно применить для «облагодетельствования» людей.

Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизводства людей.

Однако вирус ВИЧ пользуется этим каналом для своего распространения.

А.Д. Панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической, а именно: мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не создали препятствий для наших будущих исследований внеземной жизни.

В целях проведения анализа мы можем поделить все цивилизации на «наивные» и «серьезные». Серьезные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации вроде Земли уже обладают средствами дальней прослушки космоса и компьютерами, но еще не обладают ИИ, не осознают его рисков и рисков SETI, связанных с ИИ.

Вероятно, каждая цивилизация проходит этап «наивности», и именно в этот момент она наиболее уязвима для SETI-атаки. И вероятно, этот этап очень короток, поскольку промежуток от возникновения мощных радиотелескопов и распространения компьютеров до создания своего ИИ может занять, по земным меркам, только несколько десятков лет. Следовательно, SETI-атака должна быть настроена именно на такую цивилизацию.

Если путешествия со сверхсветовой скоростью невозможны, то распространение цивилизации с помощью SETI-атаки является наиболее быстрым способом покорения космоса. На больших дистанциях она будет давать существенный временной выигрыш по сравнению с любыми видами звездолетов. Поэтому, если две цивилизации соревнуются за овладение пространством, то выиграет та, которая начала SETI-атаку.

Самое важное заключается в том, что достаточно один раз начать SETI-атаку, как она волной пойдет по Вселенной, поражая все новые и новые наивные цивилизации. Например, если у нас есть миллион не способных к размножению обычных биологических вирусов и один опасный и способный, то после того как они попадут в организм, мы получим триллионы копий опасного вируса и по-прежнему только миллион безопасных вирусов. Иначе говоря, достаточно одной из миллиардов цивилизаций запустить данный процесс, чтобы он пошел по всей Вселенной. А поскольку он распространяется со скоростью, близкой к скорости света, остановить его будет почти невозможно.

Далее, рассылка SETI-сообщений будет приоритетом для пораженной SETI-вирусом цивилизации, и она будет тратить на это столько же энергии, сколько биологический организм тратит на размножение – то есть десятки процентов. При этом земная цивилизация тратит на SETI не более нескольких десятков миллионов долларов в год, а на METI, то есть на отправку, и еще меньше – за все время было осуществлено только 30 часов направленных передач, то есть менее одной миллионной своих ресурсов, и вряд ли эта пропорция сильно изменится у более продвинутых цивилизаций (есть ряд соображений, по которым нормальным рациональным цивилизациям выгоднее слушать космос, чем посылать сообщения).

Иначе говоря, одна зараженная цивилизация будет производить в миллион раз больше радиосигналов, чем здоровая. Или, говоря по-другому, если в Галактике миллион здоровых цивилизаций и одна зараженная, то у нас будут равные шансы наткнуться на здоровую или зараженную. Точно такую же ситуацию мы видим в современном Интернете, где почти половина сообщений являются спамом, и эти сообщения генерируются очень небольшим количеством людей. Кроме того, значительная часть спама содержит в себе компьютерные вирусы, которые стремятся подчинить себе компьютер и использовать его для дальнейшей рассылки своих копий.

Очевидно, чтобы рассылать свой код в далекий космос, нет других разумных причин, кроме саморазмножения. При этом такой процесс может начаться случайно – например, на заре это мог бы быть просто исследовательский проект, цель которого состояла бы в том, чтобы отослать результаты исследований материнской цивилизации, не причиняя вреда принимающей цивилизации, а затем этот процесс из-за сбоев или мутаций стал бы «раковым».

В такой модели поведения нет ничего необычного. В любой информационной среде существуют вирусы: в биологии это вирусы, в компьютерных сетях – компьютерные вирусы, в общении – это мемы. Мы ведь не спрашиваем, зачем природа захотела создать биологический вирус.

Путешествие с помощью SETI-атаки гораздо дешевле любых других способов. А именно, находясь в галактике Андромеда, можно одновременно посылать сигнал на 100 миллиардов звезд нашей Галактики. Но потребовались бы миллиарды звездолетов, к тому же более медленных, чтобы облететь все звезды нашей Галактики.

Перечислю еще несколько возможных целей SETI-атаки, просто чтобы показать, что их может быть много:

• для исследования Вселенной: после исполнения кода возникают исследовательские зонды, которые отсылают назад информацию;

• чтобы не возникло конкурирующих цивилизаций: все их зародыши уничтожаются;

• чтобы конкурирующая сверхцивилизация не смогла воспользоваться этим ресурсом;

• чтобы подготовить базу к прилету реальных космических кораблей. Это имеет смысл, если сверхцивилизация находится очень далеко и, соответственно, разрыв между световой скоростью радиосигнала и околосветовой скоростью ее кораблей (допустим, 0,5 с) составляет тысячелетия;

• для достижения бессмертия. Кэрриген показал, что объем личной сознательной памяти человека – около 2,5 гигабайта, поэтому, переслав несколько экзобайт информации, можно переслать всю цивилизацию;

• с нелогичными и непонятными для нас целями. Например, инопланетянам было бы непонятно, зачем американцы установили флаг на Луне. Стоило ли лететь за 300 000 км, чтобы установить раскрашенную железяку?

Поскольку Вселенная существует давно, область, на которую могла бы распространиться SETI-атака, занимает сферу с радиусом в несколько миллиардов световых лет. Иначе говоря, достаточно было бы попасться одной «плохой» цивилизации в световом конусе размером в несколько миллиардов лет, то есть включающем миллиарды галактик, чтобы мы оказались под угрозой SETI-атаки. Разумеется, это верно, если средняя плотность цивилизаций – хотя бы одна на галактику.

По мере увеличения глубины сканирования неба на порядок объем пространства и число звезд, которые мы наблюдаем, возрастает на три порядка. Это значит, что наши шансы наткнуться на внеземной сигнал увеличиваются не линейно, а по быстро растущей кривой. При этом возможна ситуация, когда мы наткнемся на несколько разных посланий из разных точек неба, которые опровергают одно другое. Так, в земном информационном поле это обычная ситуация, когда, например, в средствах массовой информации разные издания критикуют друг друга. То есть какие бы позитивные и ценные послания мы ни получали, мы никогда не сможем быть уверены, что за всем этим не стоит очень тонкий обман. Это означает, что в межзвездном общении всегда будет присутствовать элемент недоверия.

Безопасной оборонительной позицией в предполагаемом межзвездном общении считается слушать, ничего не посылая, чтобы не выдать своего местоположения. Те цивилизации, которые посылают – не боятся выдать свое местоположение. Возможно потому, что отправка сообщений для них важнее безопасности. (Например, потому что они «атакуют».)

Про атомную бомбу сказали: главная тайна атомной бомбы в том, что ее можно сделать. Если до открытия цепной реакции Резерфорд считал, что высвобождение атомной энергии вопрос отдаленного будущего, то после открытия любой физик понимал, что для этого достаточно создать критическую массу из урана. Иначе говоря, если однажды выяснится, что из космоса поступают сигналы, это будет необратимое открытие. Даже если точные координаты источника сигнала будут скрыты, то его смогут переоткрывать снова и снова. Невозможно закрыть космос (хотя и можно представить космические аппараты – глушители опасного сигнала, расположенные между Землей и источником сигнала).
Возражения не верящих в инопланетных «хакеров»

В ходе дискуссий о рисках, связанных с SETI, был высказан ряд типичных возражений, которые стоит обсудить. Подчеркну, что речь идет не о заражении обычным компьютерным вирусом, а только о запуске на Земле программы ИИ, которая является вирусоподобной по планетарным масштабам своей деятельности, а именно: стремится использовать планету для рассылки своих копий дальше. При этом она может использовать, а может и не использовать атаку по компьютерным сетям, подобную атакам компьютерных вирусов.

Возражение базовое: искусственный интеллект невозможен.

Комментарий: А.Д. Панов, полагая плотность внеземных цивилизаций в Галактике высокой, при этом считает ИИ невозможным, поскольку догадка и озарение недоступны конечному автомату, каковым является компьютерная программа. Однако это мнение внутренне противоречиво. Если согласиться с множественностью внеземных цивилизаций, из этого следует, что и интеллект неоднократно зарождался на разных планетах, причем, если цивилизации находились достаточно близко друг к другу это происходило достаточно часто.

Таким образом, из допущения множественности цивилизаций следует, что есть некий эффективный способ создавать интеллект (а именно с помощью эволюции и естественного отбора) и что в человеческом интеллекте нет ничего особенного. Более того, сам естественный отбор и эволюция моделируются современными компьютерами в направлении исследований, называемом «генетическое программирование».

Наоборот, признание невозможности ИИ (например, основываясь на рассуждениях в духе Пенроуза) равносильно признанию существования трансцендентальной физическому миру души. (Но тогда мы должны признать ее наличие и у всех внеземных цивилизаций.) Отметим, что даже если ИИ невозможен на конечных автоматах, но реализуется квантовыми процессами в нейронах мозга, то тогда он возможен и на квантовых компьютерах, и, соответственно, SETI-атака все равно остается возможной (если добавить к ней этап пересылки описания и программы для квантового компьютера). Более того, даже если окажется, что для существования интеллекта необходим мозг живого существа, то и в этом случае SETI-атака остается возможной, так как возможно переслать код ДНК существа и некоторые сопутствующие инструменты (как это и происходит в романе «Андромеда» Хойла, где электронный компьютер нужен только для того, чтобы адаптировать присланное ДНК к местной форме жизни и создать живое разумное существо – девушку Андромеду).

Враждебный и опасный ИИ вовсе не обязательно должен обладать всеми человеческими качествами, например интуицией. Скажем, Deep Blue обыграл Каспарова, используя против его интуиции простой перебор. В любом случае, современный мир использует интуицию в незначительной степени, и у нас нет средств обороны, целиком построенных на интуиции. Интернет, управление вооружениями, конструирование новых механизмов – почти полностью рациональные процессы и уязвимы к воздействию сверхрационального субъекта.

Возражение 1. Описываемое здесь поведение цивилизаций слишком антропоморфно. На самом деле цивилизации слишком отличаются друг от друга, чтобы можно было предсказать их поведение.

Комментарий: В данном случае имеет место мощный эффект наблюдательной селекции. Хотя возможны самые разные цивилизации, мыслящие океаны и т. п., мы можем получать радиосигналы только от тех цивилизаций, которые их посылают, а значит, обладают соответствующей радиоаппаратурой и знаниями материалов, электроники и вычислений. То есть нам угрожают цивилизации нашего же типа. Те цивилизации, которые не могут ни принимать, ни отправлять радиопослания, не участвуют в этой игре. Кроме того, принцип предосторожности заставляет нас предполагать, что существуют цивилизации, достаточно похожие на нашу – пока не доказано обратное.

Также наблюдательная селекция касается и целей. Цели у цивилизаций могут быть самыми разными, но интенсивнее всего посылать сигналы будут только те цивилизации, которые хотят донести до нас важную для них информацию. (Примером такой тонкой информационной атаки может быть культурная экспансия, каковой, скажем, является продвижение американского образа жизни в современном глобализирующемся мире – и известно, что это в определенной мере приводит к утрате культурной идентичности.)

Наконец, наблюдательная селекция касается эффективности и универсальности SETI-вируса. Чем он эффективнее, тем больше разных цивилизаций поразит и тем большее число его радиосигналов будет доступно. Таким образом, вероятнее всего наткнуться на наиболее эффективный SETI-вирус.

Возражение 2. Сверхцивилизациям нет нужды прибегать к уловкам.

Они могут завоевать нас физически. Сверхцивилизации уже знают о нас благодаря сверхмощным телескопам.

Комментарий: Это верно, только если они находятся в непосредственной близости от нас. Если же перемещение со скоростью больше световой невозможно, то воздействие посланиями будет быстрее и дешевле. Вероятно, эта разница приобретает значение на галактических расстояниях. Следовательно, не стоит опасаться SETI-атаки от ближайших звезд, находящихся в радиусе десятков и сотен световых лет.

Неверно и то, что сверхцивилизации уже знают о нас. Если какая-то из них расположена на расстоянии 1000 световых лет, то антропогенное радиоизлучение Земли еще не достигло ее. Все, что она может наблюдать – это сам факт существования жизни на Земле, проявляющийся в спектре атмосферы. Если бы такая цивилизация реагировала на обнаружение разумной жизни, то ее реакция запоздала бы по крайней мере на 2000 лет – а за это время мог бы сформироваться грозный противник.

Таким образом, SETI-атака обладает временным преимуществом перед любым другим видом атаки, так как ее можно осуществлять упреждающе.

Возражение 2.1. SETI-атака невозможна. Если существует сверхцивилизация, то она давно нас обнаружила и обладает огромным техническим арсеналом средств, чтобы достичь нас ранее – и раз мы существуем, то она не стала нам мешать и не заинтересована в нашем уничтожении и в будущем. Если же партнером по SETI выступает цивилизация нашего уровня, то она не обладает необходимыми ресурсами для SETI-атаки. Таким образом, в обоих случаях – и цивилизации нашего уровня, и сверхцивилизации – ожидать неприятностей не следует.

Комментарий: Подобные эвристические умозаключения, к сожалению, не обладают доказательной ценностью, то есть они могут только понизить нашу оценку вероятности атаки, но не доказать ее невозможность во всех мыслимых случаях.

Например, если мы отпускаем гулять пятилетнего ребенка в парк, мы тоже можем рассуждать подобным образом: либо он встретит ребенка своего возраста, который для него безопасен, либо он встретит взрослого человека, который достаточно мудр и гуманистичен (раз дожил до взрослого возраста, не саморазрушившись, – примерно так доказывает А.Д. Панов «экзогуманистичность» космических цивилизаций). Тем не менее ни один родитель не руководствуется рассуждениями такого рода, когда отпускает ребенка в парк. Во-первых, потому что помимо детей и взрослых еще существуют подростки, которые сильнее детей, но не обладают мудростью. Во-вторых, потому что сама «мудрость» взрослых есть категория весьма относительная: один маньяк на миллион мудрых взрослых – достаточный повод для беспокойства.

В случае контакта с внеземной цивилизацией возможна ситуация, когда мы вступили в контакт с цивилизацией, которая только на несколько десятков лет опережает нас. В этом случае она гораздо больше нас знает о создании ИИ, учитывая огромную скорость прогресса в этой области, но еще не является древней и устойчивой сверхцивилизацией. Более того, она может быть разрываема изнутри конфликтом разных глобальных систем ИИ или стран и обречена на гибель в ближайшем будущем. Тем не менее она может предпринять попытку отправить к нам враждебную нам SETI-программу.

Важно также понимать, что то, что мы можем воспринимать как агрессивное, бесчеловечное и враждебное поведение, может быть совершенно нейтральным поглощением ресурса с точки зрения субъекта этого поведения. Например, как мы воспринимаем уборку урожая на поле – а ведь при этом гибнут миллионы насекомых и грызунов; или как большинство людей воспринимают скотобойни.

Возражение 3. Есть масса причин, по которым SETI-атака может не удаться. Какой смысл затевать столь неэффективную атаку?

Комментарий: SETI-атака вовсе не должна действовать всегда. Она должна действовать в достаточном числе случаев, в соответствии с целями той цивилизации, которая отправляет сообщение.

Например, нищий или мошенник не ожидает, что ему удастся «развести» каждого встречного. Ему достаточно хотя бы одного человека из ста.

Из этого следует, что SETI-атака бесполезна, если стоит цель атаковать все цивилизации в галактике. Однако если цель состоит в том, чтобы получить хотя бы некоторые форпосты в другой галактике, то SETI-атака годится. Из этих форпостов затем можно на досветовых звездолетах распространить свое влияние по окрестным звездам.

Кроме того, SETI-атака нацелена на обычные цивилизации, то есть на тот тип цивилизаций, который многократно встречается во Вселенной, а принцип Коперника заставляет нас полагать, что мы являемся цивилизацией обычного типа, а не уникальной цивилизацией. Отсюда можно заключить, что SETI-атака нацелена именно на цивилизации нашего типа.

Возражение 4. Пересылка компьютера и работающей на нем программы предложенным в данной статье способом невозможна по тем или иным причинам.

Комментарий: Согласие с этим возражением означало бы признание того, что способа переслать описание компьютера с работающей на нем программой от какой-либо одной цивилизации к другой не существует, как бы сильно отправляющая цивилизация ни желала оправить это описание, а получающая – получить его и выполнить.

Такое утверждение слишком сильное, чтобы быть истинным. А значит, существуют способы переслать описание компьютера и его программы. При этом нет сомнений, что отправитель вирусного сообщения очень хочет сделать его максимально понятным, а земная цивилизация очень хочет «подключиться к галактическому Интернету», то есть понять сообщение и выполнить.

Возражение 5. Весь объем знаний сверхцивилизации нельзя засунуть в 1 гигабайт, следовательно, загруженный код будет неполноценным и атака им невозможна.

Комментарий: Во-первых, мы не знаем, что можно, а что нельзя закодировать в 1 гигабайт. Например, объем генокода человека меньше, а ведь он не плотно упакован. Во-вторых, по мере надобности ИИ может подключаться к зашифрованным каналам передачи и подгружать недостающие сведения (например, попросив доступ к антеннам радиотелескопов). В-третьих, будучи мощной самообучающейся программой, он может изобрести заново многие вещи, зная только базовые принципы.

Возражение 6. Послав нам программу с ИИ, внеземная цивилизация раскроет нам сам факт своего существования и свои координаты, технологию ИИ и сам факт ее возможности, ряд других технологий, которые этот ИИ создаст, а также, что особенно важно, откроет нам факт агрессивности своих намерений. И все это, в случае неудачной атаки, обернется против нее.

Комментарий: Подобные рассуждения носят только вероятностный характер и не могут гарантировать невозможность события. Отметим, что в случае войны на Земле те же соображения не препятствуют определенным агрессивным действиям.

Например, пушки раскрывают свое местоположение первым же выстрелом, но это не приводит к отказу от их использования. Кроме того, вряд ли сверхцивилизация отправит нам вместе с ИИ такие технологии, которые мы сами не открыли бы в ближайшие 100–200 лет (во всяком случае, не отправит – точнее, не позволит их расшифровать – до того, как будет уверена в победе). Возможно, что соблазн переиграть инопланетный ИИ (например, запустив его в полностью симулированном мире) будет одной из частей многоуровневой ловушки, которую она нам подстроит.

Наиболее серьезное возражение. «Продвинутая» цивилизация могла бы за несколько миллионов лет засеять всю нашу галактику способными к саморазмножению микророботами, которые могли бы реализовать любые цели у каждой звезды, в том числе без труда предотвратить развитие других цивилизаций.

Однако мы этого не видим – никто не помешал пока нашей цивилизации развиться. Разослать микророботов с заданиями было бы гораздо проще и надежнее, чем бомбардировать всю галактику SETI-посланиями, а раз этого нет, то нет и SETI-атаки внутри галактики.

Вероятно, за многие миллионы или даже миллиарды лет микророботы могли бы долететь даже из отдаленных галактик на расстоянии в десятки миллионов световых лет. В этом случае SETI-атака имела бы смысл только на больших расстояниях. Однако на таком расстоянии, вероятно, требуются принципиально новые способы модуляции сигналов, например, управление свечением активных ядер галактик; или передача узконаправленным лучом в сторону нашей галактики (но они не знают, где она будет через миллионы лет). Но цивилизация, способная управлять ядром галактики, может, вероятно, создать и звездолет, летящий с околосветовой скоростью, даже если его масса будет массой с планету.

Подобные рассуждения, безусловно, сильно снижают вероятность SETI-атаки, хотя и не опускают ее до нуля, так как мы не знаем всех возможных целей и обстоятельств. Масштабы космической стратегии могут быть непостижимыми для человеческого ума.
Насколько мы готовы противостоять угрозе сегодня

Существует протокол о действиях в случае обнаружения внеземного разумного сигнала.[38] Однако он предполагает скорее тщательную проверку информации, а затем широкое информирование о событии. В нем ничего не говорится об опасностях, которые может создавать само загруженное сообщение. В нем нет правила о том, что никогда и ни при каких обстоятельствах нельзя создавать механизмы, чертежи которых получены из космоса, и не запускать на компьютерах программы, загруженные по каналам SETI.

Это связано с тем, что ни широкая публика, ни сами исследователи SETI не осознают рисков, связанных с загрузкой программ. Вероятно, это обусловлено тем, что осознание этого риска требует принятия двух допущений, каждое из которых по отдельности выглядит фантастическим: во-первых, что внеземные цивилизации существуют, а во-вторых, что возможна компьютерная программа, обладающая искусственным интеллектом. Вместе они кажутся просто находящимися за гранью фантастики. Кроме того, исследователи SETI – это энтузиасты своего дела, и им трудно признать, что их деятельность может быть опасной.

Можно сказать, что осознание данного риска катастрофически мало – за прошедшие почти 50 лет он упоминается только в трех публикациях. Это значительно отличает его от других рисков, например глобального потепления, которое исследуется тысячами ученых. Это наше неосознавание риска ведет к неготовности, а значит – к повышенной уязвимости.

Наилучшей защитой в данном контексте было бы то, что цивилизации в космосе встречаются крайне редко. Однако если бы это было так, наша безопасность оказалась бы сомнительной, потому что в этом случае парадокс Ферми срабатывает по принципу «оба хуже»:

• Если внеземные цивилизации есть и их много, то это опасно, потому что они могут нам так или иначе угрожать.

• Если внеземных цивилизаций нет, то это тоже плохо, так как придает вес гипотезе о неизбежности вымирания технологических цивилизаций.

Конечно, теоретически возможен вариант, когда по SETI придет полезное сообщение с предупреждением о некой угрозе, которая губит большинство цивилизаций, например: «Не проводите экспериментов с Х-частицами, это может привести к взрыву, который разрушит планету». Но даже и в этом случае останутся сомнения, не обман ли это с целью лишить нас некоторых технологий. (Подтверждением стали бы аналогичные сообщения от других цивилизаций, расположенных в космосе в противоположном направлении.) И, возможно, такое сообщение только усилит соблазн проведения экспериментов с Х-частицами.

Поэтому я не призываю отказаться от SETI-поисков окончательно, тем более что такие призывы бесполезны. Однако важно повысить осознание рисков в SETI-сообществе, а без этого любые дальнейшие меры бесполезны.

Возможно, было бы полезно:

Во-первых, отложить любые технические реализации посланий, которые мы могли бы получить по SETI, до того момента, когда у нас будет свой искусственный интеллект. Возможно, до него осталось 10–30 лет, а значит, можно потерпеть.

Во-вторых, важно было бы скрывать сам факт получения SETI-сигнала, его суть и месторасположение источника, с тем чтобы избежать его повторного скачивания.

В-третьих, можно обдумать способы глушения SETI-сигнала, если он будет признан опасным, и международного запрета на его прием, хранение и анализ, аналогично тому, как действует запрет в отношении ядерных секретов и оборудования.

Проще всего заметить те цивилизации, которым выгодно о себе сообщать. Важно понять, какова причина этой выгоды и не может ли эта выгода быть для нас опасной.

С этим риском связан интересный методологический аспект. Несмотря на то, что я уже давно размышляю на темы глобальных рисков и читаю о них, я обнаружил эту опасную уязвимость в SETI только через год после начала исследований. Задним числом я смог найти еще примерно четырех человек, которые приходили к подобным выводам. Однако для себя я сделал важный вывод: вероятно, есть еще не открытые глобальные риски, и даже если составные части некого риска по отдельности мне лично известны, то, чтобы соединить их, может потребоваться длительное время.

C точки зрения нашего основного вопроса о неопределенности, здесь сталкиваются два фактора – это вопрос о возможности внеземного разума и вопрос о реальности и опасности ИИ. Следствием является крайне малое число людей, которые принимают данный риск всерьез – гораздо меньшее, чем число людей, исследующих либо возможность ИИ и его риски, либо возможность существования внеземного разума и проблемы связи с ним.

Наложение двух неопределенностей делает результирующий эффект менее вероятным, но не в той мере, в какой люди считают его невероятным. Наоборот, новые открытия могут взаимно усиливать друг друга, как ракета и ядерная бомба взаимно усиливают поражающую силу друг друга. Если вопрос о враждебности человеку ИИ, созданного на Земле, является спорным, то ИИ, загруженный по каналам радиосвязи из космоса, почти наверняка будет враждебным. Единственное исключение – это ситуация, когда цивилизация-благотворитель рассылает по Вселенной такой ИИ, который помогает начинающим цивилизациям справиться с трудностями роста (но все-таки затем она рассылает себя дальше).