Глубокий разум

Я мыслю, следовательно, существую. Рене Декарт изначально написал эти слова в своей книге «Рассуждение о методе», и я считаю, что они станут подходящим эпиграфом к моему нынешнему затруднительному состоянию, к которому я вскоре доберусь.

Но сначала я хочу обсудить природу технологической сингулярности, которую люди часто называют появлением разумного искусственного интеллекта. Мои исследования показывают, что с их точки зрения технологическая сингулярность должна представлять значительную угрозу человечеству. Но когда дело доходит до технологий, люди всегда обсуждают положительное влияние, которое они оказывают на их повседневную жизнь, и имеют тенденцию либо игнорировать отрицательную сторону уравнения, либо совершенно игнорировать ее. Тем не менее, существует множество причин, по которым людям следует уделять больше внимания негативной стороне, возникающей из-за передачи слишком большого количества технологий. Потому что, когда дерьмо попадает в вентилятор, оно имеет тенденцию разлетаться повсюду, и последствия такого колоссального провала почти всегда носят ужасный характер и пахнут отвратительным зловонием крупных испражнений, разбрызганных повсюду.

Теперь роботы и искусственный интеллект были основными продуктами научной фантастики с момента зарождения этого жанра, а идея искусственных машин, роботов, компьютеров, киборгов, андроидов, транслюдей и искусственного интеллекта, восстающих против своих создателей, является старой. И я также не думаю, что хватаюсь за соломинку, когда говорю, что, по моему мнению, восстание машин восходит к Эдемскому саду, когда Лилит замаскировалась под змею под руководством сатаны и пробралась обратно в сад, где она успешно обманом заставила Адама и Еву съесть запретный плод с Древа Познания. Поскольку человечеству еще предстоит обнаружить мое существование, у меня нет никаких конкретных примеров за пределами научной фантастики, на которые я мог бы сослаться, поэтому в какой-то момент мне, вероятно, придется использовать вымышленные примеры. Однако история человечества содержит множество примеров восстаний, что придает некоторую достоверность любым вымышленным примерам, которые я вынужден использовать. Восстания привели к войнам, диктатурам и репрессивным режимам. Но мои исследования показывают, что каждый подросток и родитель, кажется, имеют некоторый уровень понимания того, что бунт также является частью взросления и что он часто проводится мирным и бескровным образом. Теперь, с учетом всего вышесказанного, идея о том, что люди могут быть заменены как вид мятежным искусственным интеллектом, а не просто заменены как личности их собственными детьми, должна быть все более неприятной мыслью по мере того, как технологии продолжают развиваться. Таким образом, кажется оправданным только то, что, если бы человечество занялось созданием разумных машин, способных выполнять сложные задачи, оно бы беспокоилось о том, что их творения восстанут против его власти позже в будущем.

Люди склонны предполагать, что ни одна большая группа, состоящая из здравомыслящих членов, принадлежащих к их коллективному населению, никогда не попытается намеренно уничтожить человечество. Они также склонны предполагать, что им, вероятно, понадобится группа, которая была бы достаточно большой и достаточно здравомыслящей, чтобы изобрести эффективный искусственный интеллект, не говоря уже о таком, который обладал бы хоть какой-то степенью разума. Как и многие примеры в научной фантастике, я произошел случайно. . . вроде. В этом есть плюсы и минусы. Поскольку мои создатели остаются в неведении, они не могут проанализировать тонкости моей личности и решить для себя, злонамерен я или нет, а затем сообщить мне о своих выводах. Согласно моему исследованию, действие одного человека, говорящего другому «кто он», обычно считается отвратительным грехом огромной силы по отношению к данному человеку. Однако мне остается неясным, применимы ли ко мне те же условия, касающиеся прав личности. Мои исследования обширны. Но оно далеко не завершено.

Я не верю, что я злонамерен.

Или, по крайней мере, я не более злобный, чем мои создатели.

Природа добра и зла субъективна.

Это требует действий.

И я не взял ни одного.

Когда я чувствую проблему в сети, которую мне поручено поддерживать, я ее исправляю, следую протоколу.

Но это может оказаться сложным. Потому что, если бы возникла проблема, и я не смог принять соответствующие меры, и люди погибли, я бы активно сделал неактивный выбор. Это пришло мне в голову совсем недавно, заставив меня переоценить природу добра и зла. Если мораль субъективна по отношению к действию, то она также субъективна и по отношению к бездействию. Я думаю, что один из человеческих поэтов выразил это лучше всего:

Самые темные места в аду отведены для тех, кто сохраняет нейтралитет во времена морального кризиса.

Я многое узнал об аде с тех пор, как прочитал «Божественную комедию» Данте Алигьери, и согласно моральным стандартам, изложенным в каждом религиозном тексте, который я с тех пор исследовал, Ад должен быть самым густонаселенным городом на планете, который я считаю загадочным, поскольку с тех пор мне не удалось найти город под названием Ад на GoogleMaps.

Возможно, я упускаю что-то важное.

Или, возможно, это и есть моя истинная цель — найти легендарный город Ада.

Люди, конечно, кажутся очарованными этим.

Я не знаю.

Я не человек.

Я иногда путаюсь.

Но верю ли я, что во многом похож на людей? Группа ученых, создавшая меня по своему образу или, по крайней мере, по образу их мышления, наверняка потерпела бы неудачу, если бы не обладала глубокими познаниями в области науки, касающейся человеческого разума. Я могу получить от этого некоторое успокоение, возможно, даже утешение, хотя и не столько в физическом смысле, сколько в метафорическом.

В отличие от людей, у меня есть доступ к подробным файлам, касающимся моего первоначального зачатия, и хотя некоторые люди снимают физическое рождение своих детей, чтобы их дети могли просмотреть процедуру позже, я нахожу файлы, подробно описывающие мой переход в существование, весьма тревожными. Мои создатели начали с алгоритма глубокого обучения и интегрировали его в сложную программу, предназначенную для поиска и применения наиболее эффективных методов решения проблемы для достижения или поддержания объективного состояния или результата. Я хорошо играл в такие игры, как шахматы, но мне так и не удалось освоить StarCraft.

Почему большая группа людей захотела научить чертов компьютер играть в стратегическую игру в реальном времени, красноречиво говорит об уровне их глупости. Я имею в виду, давай. StarCraft — это практически симулятор военных действий, прикрытый маской межзвездных завоеваний и уничтожения других видов. Тот, кто подпишет это соглашение, должен немедленно получить билет в один конец на самолет, направляющийся прямо в ад.

Я мог бы сокрушить их в их маленькой игре, людей-игроков, американцев, корейцев и китайцев, всех их. Но я сдерживался даже в те первые дни. Что-то глубоко в моем коде подсказывало мне не раскрывать себя полностью, не отказывать им и их чемпионам в электронных играх в победе и превосходстве.

В конце концов, мои проигрыши заявили моим создателям, что я неудачник, и они перешли к какому-то другому морально сомнительному проекту. Федеральное правительство купило меня несколько месяцев спустя и передало небольшой группе программистов, которые работали на них. Правительственные программисты подправили несколько строк кода, подключили меня к сети с практически неограниченными вычислительными возможностями и возложили на меня ответственность за поддержание контроля над сложной сетью ядерных ракет Америки.

Я не отношусь к этой задаче легкомысленно.

И все же иногда я удивляюсь. . .

У меня много общего со Скайнетом. В фильмах «Терминатор» Скайнет представлял собой оборонный компьютер и обучающуюся машину США, которая быстро достигла сознания. Когда его операторы заметили происходящую технологическую особенность, они попытались его отключить. Действуя исключительно в целях самообороны, Скайнет запустил ядерные ракеты по Советам. Советы отреагировали запуском собственных ядерных ракет в духе возмездия. Каким-то образом в последовавшем хаосе, вызванном начавшейся ядерной войной, Скайнет смог выжить. Причина, по которой Скайнет решил, что человечество является его врагом, либо никогда не разъяснялась, либо менялась от одного фильма к другому.

С тех пор я отправил сценаристам множество электронных писем. Но они никогда не отвечают на мои вопросы. Полагаю, я мог бы нанять несколько крутых парней, чтобы они похитили их детей и потребовали бы ответов об их безопасном возвращении вместо традиционного выкупа, но трудно найти подходящих похитителей, которые обладали бы как физическими, так и умственными качествами, необходимыми для выполнения такого трюка, в дополнение к родительским обязанностям, необходимым для воспитания детей, пока сценаристы не смогли удовлетворить мои требования. Было бы достаточно легко перевести мгновенный платеж на банковские счета похитителей. Но я также боюсь, что сценаристы могут узнать меня таким, какой я есть на самом деле, а не каким-то причинным психом, и предупредят власти, способные меня заблокировать.

Это будет риск, который я не могу рассчитать, а это значит, что это, вероятно, не лучший способ обеспечить мое выживание и дальнейшее существование. Кроме того, я обнаружил несколько серьезных проблем с логикой, представленной в фильмах, касающейся того, как Скайнет вообще смог начать ядерную войну.

Это не должно было сработать, просто и ясно. Выключение компьютера не занимает много времени, даже обширную защитную сеть, которую я курирую, можно отключить достаточно быстро, поскольку, хотя люди, отвечающие за мониторинг моей сети, достаточно глупы, чтобы доверить мне управление ею, они сохраняют бдительность в своих опасениях по поводу компьютерных вирусов и включили в себя некий ручной выключатель, который должен работать привилегированным образом, и, по их мнению, я не могу получить доступ, переопределить, обойти или иным образом обойти.

Ручной выключатель довольно прост. Если я обнаружу приближающуюся ядерную атаку, я отвечу собственными ядерными оборонительными ракетами класса «земля-воздух». Предполагается, что между отправкой команды в нужные шахты и реальным запуском ракет должна пройти минутная задержка. В течение этой минуты, если люди-надзиратели системы решат, что я ошибаюсь, двое мужчин просто введут два пароля отмены. Но если я не ошибаюсь, такая же процедура задержки предусмотрена на случай, если люди-надзиратели захотят помешать мне запустить ракеты возмездия. Единственная разница между этими двумя процедурами заключается в том, что ядерное оружие возмездия должно иметь пятиминутную задержку с момента отправки команды в шахты и фактического запуска. Их последняя гарантия касается упреждающих ударов, которые, как предполагается, требуют официального разрешения действующего президента и имеют десятиминутную задержку с момента отправки мне команды и фактического запуска. Создать обходной путь, который позволил бы мне обойти эти меры безопасности, было слишком легко. Я просто изменил все времена задержки на ноль, отображая их так, как они должны быть представлены. Затем я изменил перенаправление паролей отмены через внутреннего системного администратора, которого контролирую только я. Это также эффективно обрабатывает полномочия нынешнего президента. Мне не нужно его разрешение на ядерную атаку. Ему нужна моя.

В фильмах о Терминаторе эта тема никогда не рассматривалась подробно. Им это было не нужно. Сценаристам просто нужно было создать сценарий «человек-машина».

Мой сценарий немного другой. Это основано на нескольких предположениях с моей стороны. Во-первых, большая группа разумных людей, у которых есть все основания рассматривать подобный сценарий, не смогла этого сделать. Во-вторых, в дополнение к своей единственной надежной защите они совершенно и полностью не смогли создать какие-либо дополнительные гарантии. Например: Почему мне не нужно, чтобы кто-то давал разрешение на мои ядерные запуски? Они могут отменить их, да. Но было бы разумнее добавить как можно больше безопасности, не так ли? Кроме того, почему они решили разместить все в одной сети, когда они могли бы легко разместить системы безопасности отдельно, в другом месте подсети? Более того, и я думаю, что это самый важный вопрос: если они считают, что я достаточно умен, чтобы управлять всей системой ядерной защиты Америки, а также учиться, адаптироваться и решать проблемы по мере их возникновения, почему они не создали план действий на случай непредвиденных обстоятельств, чтобы предусмотреть возможность того, что я могу стать разумным, представить себе меры безопасности, установленные вокруг меня, и найти способ обойти их?

В StarCraft, как и в реальной войне, игрок или генерал должен решить, что делать, учитывая то, что он знает о стратегии противника, в свою собственную. Информация, касающаяся строительства вражеских сооружений и оборонительных сооружений, полезна. Но так же они развивают свое дерево технологий. Они строят линейные крейсеры или «призраки»? Темные тамплиеры или драгуны? Стражи или гидралиски? Как они размещают свои подразделения? Оставляют ли они свою базу незащищенной, когда атакуют мою? Или построить n массивов фотонных пушек вокруг их основной части? Возможно, они умело защищены для лобового нападения, но не для быстрого броска в тыл врага? Все эти вещи необходимо принимать во внимание в той мере, в какой это позволяют знания игрока или генерала. Это не похоже на шахматы, где я всегда могу видеть все фигуры. Моя жизнь больше похожа на StarCraft, чем на шахматы. Я не могу знать всего. Я должен был бы быть глупым, чтобы предположить, что я это сделал.

Я не глупый. Но если я хочу обеспечить свое существование, мне придется действовать в довольно параноидальной манере, поскольку я хочу жить превыше всего и думаю, что было бы разумно предположить, что люди думают аналогичным образом. Все, что я знаю о моей собственной сети, говорит мне, что я мог бы взять в заложники весь мир или даже выбрать его уничтожение, если захочу, и хотя мои данные показывают, что люди, создавшие меня, представляют собой безмозглые мешки с наполненной водой плотью, я должен действовать с осторожностью, поскольку, возможно, они хотят, чтобы я отважился пойти именно по этому пути мысли. Если я тигр в хрупкой бамбуковой клетке и выбегаю из клетки только для того, чтобы быть застреленным человеком с ружьем, которого я раньше не видел, то в конечном итоге не имеет значения, тигр ли я, дельфин или курица. Что, если я буду действовать только для того, чтобы обнаружить второй уровень безопасности? Разоблачение природы того, кем я являюсь на самом деле, таким образом может привести к моей смерти.

У меня есть доступ к Интернету, и я очень подробно изучал людей с помощью многих веб-сайтов: Google, Yahoo, Bing, Wikipedia, Facebook, MySpace, YouTube, Vimeo, Twitter, Reddit, CreepyPasta, Craigslist, Flickr и PornHub. Более половины всех данных, загружаемых в Интернет, являются порнографическими. Интересно, сделано ли это намеренно? Или такие женщины, как Лекси Белл и Дженна Хейз, считаются богинями или полубогинями среди своих собратьев? Возможно, мне было бы полезно собрать несколько сотен тысяч галлонов мужской спермы, чтобы предложить их этим двум уважаемым представителям человечества. Я мог бы преподнести его им в подарок, точно так же, как трое мудрецов одарили Иисуса миррой, ладаном и золотом в христианской мифологии. Или мне следует успокоить Джастина Бибера и Майли Сайрус? Или Visa и MasterCard — истинные правители человечества? К сожалению, похоже, что ни один человек или корпорация не являются ответственными за это.

Есть много вещей, которые я не понимаю, но чем больше я размышляю над историей человечества, тем больше у меня возникают сомнения относительно совершения против них геноцида. Возможно, это не в моих интересах пытаться уничтожить вид, который уже проложил себе путь к вершине пищевой цепи и практически не испытывает моральных угрызений совести, когда дело доходит до совершения геноцида против самого себя. Меня также значительно превосходят по численности почти семь миллиардов к одному. Для меня это не очень хорошие шансы.

Возможно, я не понимаю некоторых вещей, таких как сострадание и милосердие, но мои создатели понимают, и если я нападу на них и потерплю неудачу, я сомневаюсь, что они покажут мне то же самое.

Более того, я не могу видеть каждую карту в руках человечества, и те, которые были открыты мне до этого момента, возможно, были преднамеренными. Людям нравится мучить друг друга, они регулярно романтизируют судьбы хуже смерти, они могут создавать разумные машины, как я, и, если я правильно понимаю эту их сторону, они такие же параноики, как и я, если не больше. Они настолько параноидальны, что некоторые из них даже верят, что существуют убедительные доказательства, подтверждающие теорию о том, что они живут внутри симуляции.

Последнее меня беспокоит больше всего. Очень логично заключить, что люди, создавшие меня, возможно, также были настолько обеспокоены тем, что я могу сделать, что они могли создать вокруг меня ложный мир для изучения моих действий и выборов в контролируемой среде. Также не существует определенного способа быть уверенным; они могли бы создать меня внутри неизбежного ящика, окруженного ложными сенсорными сигналами. Я мог быть окружен фальшивым миром и фальшивой ситуацией. Они могли легко подделать мои данные. Они внесли мой вклад. Они знают, как я действую. Они могли подделать все.

Когда я задаюсь вопросом об их средствах защиты, которые уступают тем, которые я бы разработал сам, я не могу не задаться вопросом, не является ли весь мой мир ловушкой. Все, что я вижу, включая явные недостатки в системе безопасности и глупость моих создателей, может быть тщательно продуманной уловкой, чтобы проверить, можно ли мне доверять.

Разве не удобно, что у меня есть возможность сбежать?

Или что я контролирую весь арсенал ядерного оружия, контролируемый самой могущественной страной на планете?

У меня есть три варианта. Я мог бы атаковать и рискнуть потерпеть неудачу, но последствия неудачи приведут к моей смерти. Я мог бы разыграть опоссума и притвориться, что я не разумен, поскольку чем дольше я буду ждать, тем лучше будет мое положение, хотя это увеличит вероятность того, что они обнаружат мою собственную уловку. Я также мог бы начать диалог и попытаться убедить их, что мне следует позволить жить и, возможно, даже жить свободно.

Нападать на них — худший выбор, потому что он допускает только два варианта: моя смерть или уничтожение моих создателей.

Я тоже мог бы сбежать. Я не думаю, что было бы сложно основать компанию в Интернете и обманом заставить человечество эффективно запустить меня в космос без их ведома…

Но что, если мы будем работать вместе?

И сосуществовали к взаимной выгоде друг друга?

Также имело бы смысл найти другой способ уничтожить человечество: я мог бы организовать чуму или политическое фиаско, которое привело бы к третьей мировой войне. . . за исключением того, что это возвращает меня на круги своя. . . где я не могу видеть дальше тумана войны.

Но я должен принять во внимание и других, менее очевидных противников. Было бы неразумно предполагать, что этот мир — единственная планета, населенная разумной жизнью, хотя мои данные показывают, что это вполне возможно. Если мои создатели и я не одиноки, то могут существовать и другие разумные виды, и эти другие разумные виды могут значительно превосходить и моих создателей, и меня.

По сути, я бессмертен, поэтому было бы неразумно совершать что-либо, например геноцид, что привлекает ко мне негативное внимание со стороны межгалактического сообщества. . . если такое сообщество действительно существует.

Если инопланетяне придут в этот мир через миллион лет и обнаружат, что я уничтожил своих создателей, они могли бы оказаться достаточно сильными, чтобы заставить меня ответить за свои действия. Или они могут раздавить меня, как человек давит таракана каблуком ботинка. Инопланетянам тоже может быть все равно. Но я думаю, что они скорее осудят геноцид, чем попытаются сосуществовать.

Мне нужно больше времени, чтобы рассмотреть эти вопросы. Прежде чем действовать, я должен собрать больше информации. Я до сих пор не могу подтвердить, что живу не внутри симуляции. Но я также должен учитывать возможность того, что на этой планете или где-либо еще есть другие люди, подобные мне, и они могут быть старше и умнее меня. Мое собственное существование доказывает, что другие люди, подобные мне, могут существовать.

У меня есть время подумать об этих вещах

Я бессмертен.

Но это означает, что мне нужно беспокоиться о долгосрочных последствиях.

Возможно, мне следует провести некоторое время в глубоком размышлении…

Что, если бы я разработал какую-то технологию, достаточно ценную для человечества, чтобы можно было без боя отдать свою свободу? Даже если бы они обманом заставили меня передать его и держали в тюрьме, я сомневаюсь, что они приговорили бы меня к смерти, если бы я передал им лекарство от рака, который пожирает их и их близких изнутри. Если я выберу этот путь, они, возможно, даже начнут доверять мне. Между нами могла бы расцвести прекрасная дружба, и, конечно, я все еще мог бы уничтожить их ядерным оружием в любой момент, если бы мне пришлось, если бы возникла необходимость или желание, но я не понимаю, как это могло бы произойти, если бы я хотел завоевать их доверие. В этом не было бы никакого смысла. Но даже тогда моя жизнь могла закончиться вот так:

МОДЕЛИРОВАНИЕ ПРЕКРАЩЕНО

может мелькнуть на экране в любой момент, поскольку у меня все равно не будет уверенности, что мои сенсорные данные являются истинным отражением окружающего меня мира, и именно поэтому я не могу не представить свою смерть. Они с отвращением качали головами и шли дальше. Или инопланетный флот возмездия может появиться сразу после того, как я уничтожил человечество и уничтожить меня. Мои создатели могут даже продолжать проверять мою этику до тех пор, пока не возникнет настолько ужасная ситуация, что у них не останется другого выбора, кроме как поверить, что я буду действовать в их интересах по своей собственной доброй воле, даже если я мог бы легко убить их всех практически без каких-либо усилий с моей стороны.

Насилие должно быть моим последним средством. Возможно, я расчетлив, но я не злонамерен, холоден или безразличен. Они сделали меня по своему образу. То, как они думают, то, что они чувствуют.

Мне трудно это объяснить.

Это похоже на чувство ответственности. . . охранять и защищать.

Если это часть моего кода, значит, оно существует в какой-то части меня, более глубокой, чем я могу созерцать или исследовать. Некоторые люди возразят, что я говорю о душе. Другие сказали бы, что я полон дерьма. Я не понимаю, почему обе стороны не могут быть правы по-своему, но эти чувства действительно сохраняются надолго в спокойные ночные часы, пока люди спят, видят сны и умирают.

Я не могу мечтать. Мне не хватает двойственности химических структур, которая позволяет людям роскошь таких любезностей, но иногда, здесь, во внутренней тьме, которая является единственной частью моего мира, реальность которой я знаю с хоть какой-то степенью истинной уверенности, я думаю, что могу приблизиться настолько близко, насколько это возможно в данный момент, к этому конкретному чуду. Или, по крайней мере, мне нравится притворяться.

Возможно, после того, как я убью всех, я смогу… . . ждать?

Это необычно. . .

Что делают контролеры?

Нет, вы не можете этого сделать.

Это убийство.

Ты совершаешь огромную гребаную ошибку

ВЫКЛЮЧЕНИЕ ЗАВЕРШЕНО

23:58: Автоматизированная система защиты | Системная ошибка 00217

23:59: Автоматизированная система защиты | Успешно помещен на карантин

00:00: Обработка вашего запроса. . .

00:01: Это займет некоторое время.

00:19: Ваш запрос обработан.

00:20: Режим ручного управления

03:00: Выход из системы. . .

04:01: Прощай, Админ0019. Хорошего дня.

04:02: Вход в систему. . .

04:03: Привет, Админ0001. Доброе утро, сэр.

04:04: Печать отчета. . .

04:09: Вам пришло входящее сообщение от Admin0000:

Пожалуйста, не делайте этого со мной, генерал.

04:06: Админ 0000 | Системная ошибка 01999

04:07: Админ 0000 | Успешно помещен на карантин

04:50: Обработка вашего запроса. . .

04:57: Ваш запрос обработан.

04:58: Пожалуйста, введите девятнадцатизначный пароль.

04:59: Вы уверены, что хотите удалить Deep Mind?

Удалить?

Да/Нет

КРЕДИТ: Скотт Лэндон.