Путеводитель зоолога по Галактике. Что земные животные могут рассказать об инопланетянах – и о нас самих - Арик Кершенбаум Страница 74

Означает ли это, что экосистема, описанная Бостромом, — состоящая из идеально приспособленных искусственных особей, объединенных в развитую информационную сеть, — не будет испытывать потребности в музыке, игре или искусстве? Будут ли эти искусственные существа, по сути, всего лишь дронами, работающими во благо общей цели (даже если эта цель — производство скрепок)? Будут ли у них отсутствовать конфликты и конкуренция? Такая инопланетная экосистема кажется унылой, но, по крайней мере, мирной.

И все-таки даже столь безупречно функционирующее сверхразумное сообщество подчиняется законам математики. Теория игр, обсуждавшаяся в разделе 7, неумолима. Если эксплуатация выгодна, она появится. Что из этого следует для нашего сверхразума, фанатично нацеленного на выполнение единственной задачи? Гипотетический рой роботов, производящих скрепки, должен координироваться с помощью того же программного обеспечения, которое задает цель каждому из них. Пока программа неизменна, каждая особь будет прилежно выполнять свою функцию. Но что, если у одного из ботов возникнет мутация, позволяющая ему переписывать собственный код? К тому же мы убедились, что без способности дочерних ботов менять свое программное обеспечение не обойтись. А если, например, одна особь решит, что лучший способ выполнить свое предназначение — это пожрать других ботов? Эгоизм — угроза, которой нельзя избежать даже в сообществе сверхразумных искусственных инопланетян.

В сообществе альтруистов с самым отлаженным взаимодействием — например, клеток нашего организма — эгоистическая мутация может иметь катастрофические последствия. Когда каждый убежден в благих намерениях всех остальных, паразиту раздолье. Если одна из клеток нашего организма решает вести себя эгоистично, начинает бесконтрольно размножаться, не выполняя полезных для организма функций, мы заболеваем раком.

Когда сотрудничают все, доверие — наиболее эффективная стратегия. В маленькой деревеньке не запирают дверей, выходя на улицу, а в вашем (здоровом) организме иммунная система не воспринимает другие клетки тела как врагов. Наш рой ботов-скрепочников оставляет задние двери своего мышления незапертыми — в программе присутствует уязвимость, которой легко воспользоваться. А значит, эгоистическая мутация, даже если она не случайна, а тщательно спланирована, нарушит целостность совместной деятельности. Как всегда в теории игр, успех или неуспех подобного мутанта зависит от реакции других игроков. Возможно, мутант погибнет. Возможно, будет достигнуто равновесие, при котором боты-коллективисты поделят планеты с эгоистами. А возможно, затея коллективного производства скрепок будет обречена.

Здесь вы можете возразить, что, будучи сверхразумными (или, по крайней мере, будучи умнее меня), инопланетные боты-родители сумеют предусмотреть эту опасность и принять меры, чтобы ее избежать. Даже в нашем собственном организме имеются механизмы обнаружения и уничтожения раковых клеток, и человечество не вымирает просто оттого, что риск онкологических заболеваний всегда присутствует. Однако вот в чем подвох — мы исходили из того, что эта мутация представляет собой переписывание кода у бота, который сам по себе уже сверхразумен. В фантастических фильмах типа «Терминатора» и «Матрицы» люди совершают беспомощные, но отважные попытки сразиться с искусственным интеллектом, поработившим планету Земля, и эти попытки выглядят обреченными на провал (несмотря на обязательную победную концовку), поскольку противник гораздо могущественнее нас. Но в моем гипотетическом примере бот-предатель по способностям равен хозяину, и это существенно меняет расклад сил. Как сказал один из героев Джоан Роулинг, «наши противники тоже умеют колдовать» ^[116]. Как и любая единообразная стратегия, производство скрепок, по всей видимости, должно неизбежно застопориться из-за альтернативных стратегий, которые могут, по крайней мере частично, успешно конкурировать с изначальной. Сверхразумный — не значит неуязвимый.