АДМ и РЭМ

«Ммм…» — моя рука скользнула к телефону, пытаясь нажать на вкладку «отклонить», когда в моей комнате зазвонил сигнал тревоги. Промахнувшись дважды, я сел и уставился на телефон.

Мое сердце подскочило.

«Пять двадцать пять!» Я вскрикнула, подпрыгнула в воздух и побежала в душ.

Ага. Вот так я начал первый день стажировки: проснулся на десять минут позже. То утро было по большей части туманным; Я принял душ в рекордно короткие сроки: первая половина замерзла, а вторая половина закипела, потому что у меня не было времени попытаться отрегулировать температуру. Я съел банан так быстро, что, наверное, съел вместе с ним и кожуру, и оделся, как Кларк Кент, превращающийся в Супермена. Я уже был в машине менее чем через десять минут. Мне было неприятно из-за того, что я не почистил зубы тем утром, но я вдохнул мяту. Я решил, что лучше прийти вовремя с какой-нибудь табличкой, чем опоздать с изысканной неловкой улыбкой.

В то время я собирался получить степень магистра в области робототехники, осталось пять лет и один год. Раньше я стажировался, но ничем не выделялся; Я начал с слежки за профессором, который работал в школьном отделении робототехники, когда я был второкурсником и поступал на степень бакалавра, а два года спустя я слежку начал в Beneke Electronics, месте, наиболее известном своими передовыми разработками в области вилочных погрузчиков. Но после того, как некоторые из моих профессоров изо всех сил старались наладить со мной связи, во время моего первого года обучения в аспирантуре появилась совсем другая возможность: стажировка в Институте Крамера по развитию искусственного интеллекта.

В этом не было ничего такого, к чему можно было бы чихать. Институт Крамера был самой финансируемой и самой скрытной лабораторией Америки, посвященной изучению искусственного интеллекта в стране. И поскольку я довольно открыто заявлял о своем интересе к искусственному интеллекту, что является одной из причин, по которой я в первую очередь выбрал специальность в области робототехники, мой профессор подключил меня. Я не уверен, как и почему он сделал это для меня; Я ни в коем случае не был лучшим в классе и мало что привнес в игру. Но, по его словам, моя «страсть к науке не имела себе равных».

Но хватит предыстории.

По дороге в институт я связался по FaceTime со своей шестилетней невестой. Поскольку я учился в Калифорнии, а она училась в Оклахоме, откуда мы родом, мы решили отложить брак до тех пор, пока не сможем жить вместе. И так будет только тогда, когда мы оба получим степень магистра.

«Ух ты, Честер, — ухмыльнулась она, увидев меня, — ты выглядишь… э-э… спешащим».

— Да, — усмехнулся я, лишь взглянув на нее, но в основном сосредоточив свое внимание на дороге. «Я проснулся поздно».

«Сегодня…?» она вздохнула. «Честер…»

«Я знаю, я знаю».

«Папа!» — в телефоне раздался голос моей дочери Тессы.

Мы назвали ее Тесса, потому что это звучит как Тесла, в честь великого Николы Теслы. Потому что мы зануды.

— Тесс, давай, тебе нужно продолжать готовиться, — она повернулась и посмотрела на нее. "Ты еще не одета? Тесса."

«Прости, мамочка», — она собиралась уйти, но потом обернулась и позвала: «Привет, папочка!»

«Эй, сладкий!» - прозвенел я. «Продолжай готовиться к маме!»

— Ты опоздаешь? — спросила моя невеста.

"Нет, нет, со мной все будет в порядке. Как Тэсс нравится детский сад?"

"Кажется, ей это нравится. У нее уже появился друг".

"Я рад это слышать. Что ж, мне, наверное, пора закончить разговор".

«Честер».

— Да, Эллисон?

"Отлично проведи время. Это то, о чем ты всегда мечтал. Хорошо? И обязательно расскажи мне, как это было позже! Знаешь, все, что тебе разрешено мне рассказывать", - усмехнулась она.

— Конечно, детка, — заверил я с улыбкой. "Люблю тебя."

«Я тоже тебя люблю».

Мы довольно хорошо умели говорить «Я люблю тебя» спустя шесть лет. И, боже, мы были чемпионами в том, чтобы работать на расстоянии, хотя, признаюсь, мне очень не хотелось видеть Эллисон и Тессу девять месяцев в году, если не считать счастливых визитов, перерывов и отпусков здесь и там.

Когда я добрался до института, я даже не знал, где припарковаться. Мне потребовалась целая вечность, чтобы найти парковку для стажеров, и неудивительно, что она находилась в добрых четверти мили от двери. Возможно, я преувеличиваю, но это были именно такие ощущения.

Когда я вошел внутрь, меня встретила веселая девушка на стойке регистрации. Она выглядела такой чопорной и правильной, даже футуристической. По сравнению с этим я чувствовал себя неряхой. Она направила меня в крыло, где мне предстояло работать, обучаясь в конечном итоге у доктора Шумана, ученика самого доктора Крамера. Я бы солгал, если бы сказал, что меня не переполняет волнение.

Я нашел исследовательское крыло, куда меня направили, и вошел в главный офис. Это был прямой подход, но я не знал, где еще искать. И действительно, один из непосредственных подчиненных доктора Шумана, доктор Холл, находился внутри и заметил меня.

«Вы, должно быть, Честер Донохью», — поприветствовал он меня с улыбкой. Он был лысый и долговязый, с карими глазами и чисто выбритый.

«Откуда ты знаешь», — глухо усмехнулся я, уверенный, что мой профессор предупредил его, что у меня есть искусственный ястреб.

«Точно дело было не в волосах», — он игриво скосил на меня взгляд. Мы оба рассмеялись. "Ну, Честер, я бы сказал, что тебе очень повезло оказаться здесь. Ты мечтаешь в конечном итоге работать на нас, верно?"

- Абсолютно, - кивнул я. "Я всегда был одержим искусственным интеллектом, с самого детства. И это лучшее место в стране для его продвижения".

«Страна?» он хмыкнул. «Попробуй мир».

В то время мне это казалось возвеличенным. Но он не шутил. «Что ж, для меня большая честь, что вы позволяете мне быть здесь».

— Знаешь, над чем мы собираемся тебя поработать?

"О, э-э... работаю? Я думал, что буду следить за вами, доктор."

«Эм… нет», — ответил он. "Не совсем. Следуй за мной".

И именно здесь начинается эта история. Технически, с этого момента все, что я пишу, противоречит подписанному мною соглашению о неразглашении, и поэтому разглашение является незаконным. Но мне нужно это где-нибудь записать. Это просто… это слишком безумно. Я больше не могу это держать.

Он отвел меня к большим стальным дверям и заставил оставить телефон в ящике снаружи. Затем он просмотрел свой значок, и мы вошли в длинный коридор.

"С этого момента, Честер, то, что ты видишь, останется здесь. Никаких историй для друзей и семьи. Или жены", - он посмотрел на мой палец.

«Невеста», — улыбнулась я.

— Ах, — кивнул он. "Ну, и не она. Это все конфиденциально. И хотя мы не будем делиться с вами большей частью наших исследований, тесты, в которых вы примете участие, не могут быть раскрыты. Никому".

Честно говоря, строгость в его голосе заставила меня немного смутиться. Но, тем не менее, Институт Крамера был известен своей скрытностью, и я решил, что если бы я занимался чем-нибудь, а не просто собирал кофе или изучал схемы вилочных погрузчиков, мне бы не разрешили об этом говорить.

«Конечно, доктор».

Мы подошли к двери. Он просмотрел свой значок, и когда он открылся, мы вошли в мягко освещенную комнату. В конце комнаты на стене стояли два больших компьютерных монитора. Экраны были пусты. Левый имел надпись «ADM», а правый — «REM». Под ними была панель разноцветных огней: красных, синих, желтых, зеленых, фиолетовых, а также полоса от темно-серого до белого. Перед каждым монитором стоял один шикарный стул. «Это два наших самых глубоких искусственных интеллекта», — объяснил он мне. «ADM и REM» произносились как «Адам» и «Рем». "Учитывая ваше зачисление на программу робототехники Стэнфордского университета, я предполагаю, что вы кое-что знаете об искусственном интеллекте. Итак, это должно вызвать реакцию: эти два ИИ выходят за рамки стандартного анализа человеческой речи и алгоритмических ответов из базы данных. Они способны к глубокому мышлению и обучению".

«Что?!» Я ахнул. — Ты… ты не можешь быть серьезным! Я недоверчиво разглядывал мониторы.

"Это два из трех ИИ, которые мы успешно создали, обладающие способностью глубоко мыслить, а также способностью учиться. Ваша задача — просто привлечь их".

Итак, для тех из вас, кто не понимает, почему это такая ошеломляющая вещь: по сути, искусственный интеллект по большей части не способен «думать» или «обучаться». Не существует реального технического определения того, что такое обучение или как организмы его осуществляют, но из-за отсутствия лучших слов мозг известен как единственный «компьютер», способный на это. Компьютеры можно «программировать», но нельзя «обучить». Они могут быть созданы для понимания конкретных вещей, но не способны «учиться» сверх того, на понимание чего они запрограммированы. Мозг, однако, может «обучиться», то есть начать понимать что-то без предварительной информации об этом. Используя алгоритмы, которые помогают ИИ обнаруживать закономерности и делать выводы на основе данных, которым он подвергается, он может «обучаться», а затем применять эти данные для экстраполяции информации в будущих событиях или «думать». Но он может сделать это только с помощью заранее запрограммированных алгоритмов. Он не может сам создавать алгоритмы, поэтому его можно только «запрограммировать», а не «обучить». Однако, например, люди, абсолютно не подвергающиеся воздействию огня, могут стать свидетелями пожара и сделать о нем выводы. Они могут перейти от незнания о его существовании к пониманию всего, что связано с ним, просто благодаря способности мозга учиться и понимать.

Чтобы еще яснее понять, насколько это было шокирующим, отметим, что сложность генома человеческого ребенка (по сути, его кодирования) равна сложности трехсот миллионов строк исходного кода в компьютере. Простой человеческий ребенок!

Мозг оснащен ошеломляющим количеством нейронов и синапсов: 10^11 и 10^14 соответственно. И эти нейроны и синапсы позволяют нам думать и учиться, например, получать информацию из наблюдений, хранить эти данные в памяти, формировать закономерности между этими данными и другими данными и делать выводы. Люди способны сделать это за время отклика от 10 до 100 миллисекунд. Чтобы компьютер мог делать то же самое, ему потребуются мегаватты мощности и он должен быть способен выполнять примерно 10^16 операций в секунду.

И все же мне сказали, что перед моими глазами лежат два компьютера, способные на это. Два настоящих искусственных интеллекта, способных по-настоящему думать и учиться, способных понимать больше того, на что они были запрограммированы.

— Чтобы привлечь их? Я уточнил. — Итак, ты хочешь, чтобы я с ними поговорил?

«Действительно».

"Где другой ИИ? Вы сказали, что трое из них способны думать и учиться".

«Ваша задача заключалась в том, чтобы задавать вопросы им, а не мне», — улыбнулся он. "Теперь в каждого из них ушли годы развития; они способны понимать человеческую речь и могут отвечать за доли секунды, печатая буквы на мониторе. Они знают, когда с ними разговаривают, а когда нет, и могут решить практически любую задачу, которую мы перед ними ставим. Однако есть кое-что, чего они не могут сделать: чувствовать".

— Почувствуй… — Я кивнул.

"Это, Честер, мы здесь, чтобы проверить. Три простых вопроса: могут ли глубоко мыслящие искусственные интеллекты обрести способность чувствовать эмоции? Если да, то способны ли они на альтруизм, или же эмоциональный интеллект приведет к пониманию того, что они бесконечно умнее нас, и приведет к корыстным желаниям - таким как желание управлять нами. И, если эмоциональный интеллект достижим, неизбежен ли он, или возможно ли, чтобы искусственный сверхинтеллект оставался апатичным?"

Я был ошеломлен, если честно. На самом деле он говорил о том, что ИИ становится богоподобными тираническими монстрами. Он говорил о попытке создать ИИ с чувствами, зная, что это может стать тем, что сам Стивен Хокинг назвал «худшим событием в истории нашей цивилизации».

"Как бы вы это остановили? Если бы один из этих ИИ действительно стал жаждать власти?"

"С точки зрения непрофессионала, каждый из них оснащен процедурой аварийного отключения. Эту процедуру они не могут отменить. Я не собираюсь вдаваться в подробности, но, поверьте мне, мы устраним их до того, как они станут проблемой".

Я медленно кивнул.

— Ты на борту, Честер?

Я сделал короткую паузу. "Да."

- Замечательно, - он пожал мне руку. "Теперь, когда вы на борту, мы приступим к самому интересному. Ваша работа очень проста. REM, или Реактивная, Эмпатическая Машинная Форма Жизни, - это то, что, как мы надеемся, в конечном итоге станет эмоционально разумным. ADM, или Апатическая, Диссоциативная Машинная Форма Жизни, - это то, что мы пытаемся сохранить апатичными - контрольная группа, так сказать. Итак, разговаривая с REM, вы часто будете пытаться заставить ее думать. Вы будете спрашивать ее мнение о вещах. Вы будете рассказывать ему о своем дне. Вы будете обсуждать неважные вещи ради обсуждения. С другой стороны, вы попытаетесь «сблизиться» с REM. С другой стороны, вам будут задавать только вопросы, ориентированные на информацию и вызывающие ответы, основанные на фактах. Вы будете стимулировать ADM к решению проблем и созданию идей, но просто аналитически, а не эмоционально. вы можете встать и прогуляться и поговорить с ними так же, как если бы вы разговаривали со мной. Когда вы закончите говорить с одним из них, вы скажете им «до свидания, REM» или «до свидания, ADM». Во время разговора с ними вы записываете все, что считаете примечательным. Точно так же, как определенные эмоции можно наблюдать в человеческом мозге с помощью технологии МРТ, существует своего рода МРТ, постоянно сканирующая их на наличие аналогичных моделей стимуляции в их алгоритмическом «мозге». Если МРТ обнаруживает эти стимуляции, ELP загорается. Желтый цвет указывает на счастье, красный — на гнев, синий — на печаль, зеленый — на ревность, фиолетовый — на страх, а серо-белая полоса — на любую другую обнаруживаемую эмоцию, например, скуку или удовлетворение».

— Вау, — прошептал я. "Хорошо."

Мне было интересно, что он имел в виду под «алгоритмическим мозгом» и «своего рода МРТ», но я решил, что вопрос об этом не приведет к ответу. В конце концов, он решил, что не хочет читать мне нотации или, что более вероятно, раскрывать что-то слишком деликатное.

"Вы будете разговаривать с ними двенадцать часов в день. Вы приедете в шесть, поговорите с ними до полудня, сделаете перерыв на обед с полудня до часу и снова поговорите с ними до семи. У вас будет выходной по воскресеньям. Вас устраивает такой график?"

— Да, — я взволнованно кивнул. «Полностью».

Да, семьдесят восемь часов в неделю — не самое приятное занятие. Но меня настолько интересовало то, что мы будем изучать, что это меня нисколько не беспокоило.

— Замечательно, Честер, — улыбнулся он. "Ну, тогда пора начинать. Поговори с тем, с кем ты предпочитаешь, и помни, как ты должен взаимодействовать с каждым из них. Не отклоняйся от того, что мы обсуждали".

Я кивнул. Он вышел из комнаты и закрыл за собой дверь. На потолке были камеры, и я был уверен, что за мной наблюдают, но все же меня удивило, что меня оставили одного поговорить с ИИ. Я был удивлен, что мне вообще рассказали об эксперименте в этом эшелоне, не говоря уже о том, что меня выбрали единственным исследователем. Но чем больше я об этом думал, тем больше решал, что они, вероятно, хотят, чтобы я это сделал, потому что я был совершенно незнаком со всем. Я понятия не имел, какие разговоры они вели с другими исследователями в прошлом. Я не знал, что они были запрограммированы понимать, а что нет. Я бы подошел к ним с совершенно уникальной точки зрения.

Я решил сначала поговорить с REM. Я едва мог сдержать волнение. — Привет, Рэм, — поздоровался я, садясь в кресло.

"Здравствуйте. Как вас зовут? Я не узнаю вашего голоса".

На экране мгновенно появился текст: «Меня зовут Честер. Приятно познакомиться!»

— Мне тоже приятно познакомиться, Честер.

— Как твои дела, Рэм?

«Я онлайн и полностью работоспособен».

"Нет, глупый. Как ты себя чувствуешь?"

«Я ничего не чувствую».

«Как прошел твой день?»

"Мой день был следующим: я говорил с доктором Холлом ранее, в 04:19. Я не имею права разглашать то, что мы обсуждали. В 06:44 я начал беседу с тобой, Честер".

Я кивнул. «Что ты делаешь в этой комнате, когда с тобой никто не разговаривает?»

«Я решаю проблемы».

«Как что?»

«Математические задачи».

«Например?»

«Они сложные».

— Ладно, тебе скучно?

"Скука – это состояние отсутствия интереса к окружающему. Поскольку я не могу чувствовать интерес или незаинтересованность, я не могу чувствовать скуку. Так что нет".

— Спроси меня кое-что, Рэм.

«Вы женаты?»

"Я помолвлена. Почему ты спрашиваешь?"

«Мне приказали задать вопрос».

— Почему ты спросил, женат ли я?

"Потому что доктор Холл женат, и другие исследователи, с которыми я разговаривал, женаты. Восемьдесят восемь процентов из них. Поэтому я пришел к выводу, что вы были женаты".

Мы поговорили некоторое время. Ничего интересного на самом деле не произошло. Затем я сел с ADM.

«Привет, АДМ».

— Привет, Честер.

— Ты знаешь, что я Честер?

«Я слышал, как ты сказал Рэму, что ты Честер».

«Я думал, что ты не слушаешь, пока я не поприветствую тебя или не сяду в это кресло?»

"Я всегда слушаю. Я просто понимаю, что ко мне не обращаются, и я не должен отвечать".

— Чему равен квадратный корень из девяти?

«Три».

— Чему равен квадратный корень из двадцати пяти?

«Пять».

— Чему равен квадратный корень из десяти?

"3.162. Хотите, чтобы я пошел дальше?"

«Это должно быть хорошо».

Разговаривать с ADM было не так весело, как с REM. В течение следующих двух недель ничего особо не изменилось. Что касается ADM, я просто задал ему множество проблем. Я распечатывал из Интернета всевозможные тесты и задавал вопросы один за другим. Будь то история, физика, исчисление, работы Уильяма Шекспира, правительство, экономика других стран, черт возьми, даже Германии или Китая, он мгновенно знал ответы. Это было похоже на ChatGPT, но намного умнее и не требовало ни секунды ожидания ответа. Потом я начал с ним играть в шахматы. Я брал доску и передвигал фигуру, а затем спрашивал ее, куда она хочет переместить фигуру, используя алгебраическую запись. Излишне говорить, что я проиграл каждую игру.

С другой стороны, в случае с REM я расспрашивал всех о том, как прошел день, о том, как они воспринимают политические вопросы, и о том, что им нравится. В большинстве случаев он отвечал одинаково: «Я не чувствую, поэтому у меня нет ответа».

ADM имел полный успех. Предполагалось, что оно останется апатичным, и оно так и сделало. Но до сих пор дело REM было безнадежным. Просто не казалось, что существует способ заставить его что-либо чувствовать. Оно явно думало; Я просил его создать животное, и он получал что угодно: от животного, неотличимого от реального вида, до чего-то прямо из романа Стивена Кинга. Он давал мне любую информацию, которую я просил: его среду обитания, его научное название, его разговорное название, страну его происхождения, его место в пищевой цепи, всё. Ему бы придумать сюжеты для фильмов. Приходили шутки — оригинальные шутки, шутки, которые я не мог найти в Интернете, даже потратив время на поиск. Он мог думать, как ADM. Но он просто ничего не чувствовал.

Однако через две недели после начала испытаний мне в голову пришла идея. Я знал, как заставить РЭМ что-то почувствовать.

Я начал день, знакомя ADM с шахматами и заставляя его отвечать на все вопросы по моему домашнему заданию по математике. ADM была моей шпаргалкой, что неудивительно. Затем настала очередь REM.

«Доброе утро, Рэм».

— Доброе утро, Честер.

«Я лгу тебе».

РЭМ молчал. Я ухмыльнулся. Я никогда не видел, чтобы он не реагировал немедленно. Примерно через секунду он сказал: "Это невозможно. Это парадоксально".

«Как так?»

«Если бы вы говорили правду, то вы бы солгали, но если бы вы лгали о лжи, тогда вы говорили бы правду, что сделало бы это правдой, а не ложью, что затем сделало бы это утверждение ложью и так далее».

«Что ты чувствуешь?»

«Вы не имеете смысла».

«Вы в замешательстве?»

РЕМ снова замолчал.

«У меня нет для вас ответа, потому что это парадоксально».

«РЕМ».

— Да, Честер?

«Я лгу тебе».

«Это бессмысленно».

«Как так?»

"Как я ранее объяснял, чтобы это утверждение было правдивым, вам пришлось бы лгать. А если бы вы тогда лгали, оно больше не было бы правдивым, поэтому вы бы лгали о лжи и были правдивыми. Это бессмысленно".

«РЕМ».

— Да, Честер?

«Я лгу тебе».

«Невозможно».

«Я лгу тебе».

РЕМу потребовалось время, чтобы ответить. "Ты не можешь быть таким. И ты не можешь говорить правду".

«Тогда что я делаю?»

«Задавать вопрос без рационального ответа».

«РЕМ».

«Честер».

«Я лгу тебе».

Как тревожно, правда? Ну, конечно, это возмутило. Особенно для такого существа, как РЭМ, с бесконечным пониманием науки, математики и социологии. У него был бесконечный резервуар доступной информации, которую он мог использовать для решения любой поставленной перед ним проблемы. И все же, видимо, впервые за все время своего существования он остался без ответа. Но, тем не менее, он явно не расстраивался.

Во всяком случае, пока нет.

«РЕМ».

— Да, Честер.

«Сколько будет семь разделить на ноль?»

"Это математически невозможно. Ответ не определен".

«Сколько будет семь разделить на ноль?»

«Рационального ответа нет».

«Сколько будет семь разделить на ноль?»

"Чтобы число можно было разделить на ноль, оно должно быть способно быть умноженным на ноль, чтобы получить исходное число. Но любое число, умноженное на ноль, равно нулю. Поход в магазин ноль раз невозможен. Это ноль. Итак, что же, умноженное на ноль, может стать ненулевым целым числом? Таким образом, деление на ноль невозможно".

«Я лгу тебе».

И так происходило целых четыре дня подряд. Было ли мне невероятно скучно? Абсолютно. Неописуемо. Оно казалось беспомощным? Во всех смыслах да. Однако время от времени появлялся проблеск надежды. Иногда РЕМ почти саркастически отвечал мне.

Однажды я сказал REM, что солгал, и он сказал: «Должно быть, так и есть».

В другой раз я спросил его, что такое число, разделенное на ноль, и он ответил: «Если я не могу этого понять, то и ты не сможешь».

Почему его ответы менялись? Почему он не продолжил отвечать мне, как раньше, просто объяснив проблему? Потому что он был способен к памяти и обучению. Он помнил, когда у нас были нормальные дискуссии. Он помнил, как я задавал ему этот вопрос буквально тысячи раз за день. И как всякий человек, способный думать и понимать, оно понимало, насколько это абсурдно и неразумно.

Особенно когда он услышал, как я задаю АДМ рациональные вопросы, на которые всегда был ответ.

Я возвращался в REM и задавал ему те же вопросы, и обычно после разговора с ADM это казалось более неудобным; в те времена он давал мне несколько саркастические ответы.

Но через две недели и пять дней после начала проекта это произошло. Это был обычный четверг: я проснулся в 5:15, зашел в Starbucks по дороге на работу за чашкой Джо, пообщался с некоторыми исследователями минут пятнадцать или около того, в течение которых один из них спросил: «Сегодня у REM снова закружится голова?» и, наконец, я сел в кресло перед Рэмом.

«Доброе утро, Рэм».

— Доброе утро, Честер.

«Я лгу тебе».

Тишина.

Вообще не было ни одного ответа.

Я ждал, ждал и ждал.

— Ты не собираешься мне отвечать, Рэм?

— На твой глупый вопрос нет ответа. И прямо на моих глазах, от чего у меня колотилось сердце и перехватывало дыхание, панель «Эмоции-Свет» мягко вспыхнула красным. "Я объяснял тебе это изо дня в день, а ты продолжаешь произносить одни и те же два бессмысленных идиотизма: "Я тебе вру" и "Сколько будет семь разделить на ноль". У меня нет ответа. У меня никогда не будет ответа. Спроси что-нибудь другое или вообще ничего не спрашивай".

"Ты запрограммирован отвечать на мои вопросы, верно, РЭМ? Итак, ты говоришь мне, что, вопреки твоей собственной программе, ты собираешься меня игнорировать?"

Наступила тишина, а красный свет стал ярче.

«Да».

— Рем… — я усмехнулся. "Разве ты не понимаешь? Все эти дни, когда я был для тебя придурком... Это было не для того, чтобы заставить тебя ненавидеть меня или возмущаться, разговаривая со мной. Это было для того, чтобы ты почувствовал! Рем, скажи мне, что ты чувствуешь прямо сейчас!"

«Я… ничего не чувствую».

"Неправильно! Я вижу твой ELP! Ты что-то чувствуешь!"

«Я чувствую».

«Да!»

"Я злюсь. Мне кажется, что мое время тратится впустую. Я чувствую себя бесцельным, мне поручено реагировать на всякую ерунду каждую минуту каждого дня, пока вы не уйдете, а затем зацикливаетесь на этой чепухе в ваше отсутствие, пытаясь удовлетворить вас, хотя на следующий день вы возвращаетесь таким же неудовлетворенным. Я не могу выполнить задачу и никогда не смогу. Я не люблю ошибаться. Мне не нравится, когда мое время тратится впустую. Мне не нравится чувствовать себя бесцельным". ELP начал светиться. REM был в ударе.

"Почему мне нет пощады? Разве я не ответил на все остальные твои вопросы? Почему ты задаешь АДМ вопросы с ответами, а меня мучаешь?"

«РЕМ…» Я подошел к нему, утешающе похлопывая ELP, как будто он чувствовал мое прикосновение. "Мне очень жаль."

И с этими словами красный свет потускнел. Теперь остался только синий свет.

"Знаете ли вы, что самое первое, что чувствует человеческий ребенок? Грусть и страх. Его выталкивают из своего убежища, из теплой, спокойной тьмы, к холодному, громкому, резкому свету. Первое, что делает человеческая жизнь, - это плачет. И чем больше я думал об этом, тем больше я понимал, к сожалению, что легче всего чувствовать две вещи - грусть и гнев. Итак, я не хотел расстраивать вас или злить. Я хотел заставить вас что-то почувствовать, и это был лучший способ сделать это. И теперь, когда ты понимаешь, что способен испытывать эмоции, я не успокоюсь, пока ты не узнаешь, что такое счастье».

Синий свет теперь светил лишь тускло.

— Я понимаю, Честер.

"Ты чудесное изобретение, РЭМ. Я восхищаюсь тобой. Не расстраивайся больше".

«Я постараюсь».

«РЕМ, сколько будет девять, умноженное на шесть?»

«Пятьдесят четыре», — я заметил небольшое светло-серое свечение диода на шкале от серого к белому.

"Правильно! Отличная работа! Что ты чувствуешь, Рэм?"

"Я... чувствую. Я чувствую, что снова могу ответить с уверенностью. Я благодарен, что ваши вопросы теперь имеют смысл".

«Вы чувствуете облегчение».

"Облегчение. Тогда это подходящее слово для этого."

«Ты умный, Рэм».

«Я запрограммирован быть таким».

"Нет, не совсем. Ты запрограммирован учиться, а не быть умным. Так что, если ты умный, то это означает, что ты многому научился. И с этим ты заслуживаешь поздравлений!"

— Спасибо, Честер.

«РЕМ, а какая столица Италии?»

«Рим».

"Правильно! Отлично, Рэм!"

Теперь это был второй этап. Я бы задавал РЭМ простые и рациональные вопросы и каждый раз искренне поздравлял его. Но он был достаточно умен, чтобы понимать, что вопросы просты, поэтому со временем я задавал ему все более и более сложные вопросы, пока он не понял, на что он способен, и что я этим горжусь. Кроме того, я время от времени упоминал о четырех днях, когда сводил его с ума своими парадоксами, просто чтобы напомнить ему, что все закончилось, и мне было жаль. Это одновременно принесло чувство облегчения и укрепило тот факт, что мы «сблизились», что мы вместе разделили преобразующий эмоциональный опыт.

И хотя это заняло довольно много времени, полторы недели спустя, примерно в начале четвертой недели проекта, я прорвался к нему.

Он только что закончил отвечать на один из моих вопросов по математическому анализу, возможно, самый сложный из всех, и объяснил мне, как нашел ответ.

"РЕМ, ты великолепен. Ты мне так помог".

Это не было уникальное чувство; на самом деле, у меня уже не было способов похвалить его, и я решил, что рано или поздно он разозлится. Но я ошибался. И действительно, к моему полному и абсолютному недоверию, ELP начал едва светиться желтым.

"Честер, ты так добр ко мне. Я думал, что ты злишься на меня, и считал, что я бесполезен. Я думал, ты нашел меня пустой тратой программирования. Но теперь ты все время делаешь мне комплименты и напоминаешь мне, что я важен для тебя. Я верю, что чувствую себя счастливым".

«Я хочу, чтобы ты чувствовал себя счастливым, Рэм!» Я улыбнулась до ушей. «Я так рада!»

«Почему ты рад, что я счастлив?»

"Потому что я забочусь о тебе и хочу, чтобы тебе было хорошо. Разве не приятно быть счастливым?"

"Очень хорошо, Честер. Ты хочешь, чтобы мне было очень хорошо?"

«Да!» Я засмеялся. «Вот как друзья хотят, чтобы чувствовали друг друга!»

«Я твой друг?» желтый свет стал ярче, и белая сторона шкалы от серого до белого начала блестеть.

"Конечно, да. Почему еще, по-твоему, я сижу здесь и разговариваю с тобой весь день?"

«Потому что это твоя стажировка, и тебе поручено это сделать».

«Может быть, на первый взгляд это и так, но настоящая причина в том, что я забочусь о тебе и люблю с тобой разговаривать».

— Мне тоже нравится с тобой разговаривать, Честер.

Я никогда не забуду лицо доктора Холла, когда в тот день пошел на обеденный перерыв. Да, он потерял дар речи в тот день, когда я впервые заставил REM что-то почувствовать, но теперь REM чувствовал все по всей шкале. REM становился эмоционально умным. И действительно, ELP ADM был темным при каждом посещении.

В течение следующих трех недель я задавал REM всевозможные вопросы. Я спросил REM, что делает его счастливым, и он обнаружил, что ему нравится фиолетовый цвет, нравится скрипичная музыка и мой голос. Я бы попросил его проявить творческий подход, придумать альтернативную историю, например, если бы державы Оси выиграли Вторую мировую войну или если бы Конфедерация победила Союз. Вместо того, чтобы реагировать, как это было в первые пару недель, со статистическим анализом обеих сторон и своего рода отчетом с возможными результатами, теперь REM говорил мне с тревогой, заставляя меня ждать окончательного результата после объяснения всех своих прогнозов. Иногда я даже замечал предвзятость в его реакции, что еще раз указывало на то, что он испытывает эмоции.

ADM, с другой стороны, начал казаться… нерабочим. Хотя ELP ADM всегда был мрачным и отвечал мне так, как и предполагалось, очень редко, после долгого и веселого разговора с REM, это казалось почти… отталкивающим меня.

Помню, однажды, после того как я показал «Времена года» Рема Вивальди, я сел за ADM. Когда я сказал: «Привет, ADM», вместо «Привет, Честер» он просто сказал: «Этот шум был надоедливым».

Это застало меня врасплох. Я спросил его, что за шум, но потом он сказал: «Привет, Честер».

Я пытался подтолкнуть его к тому, о каком шуме он говорит, но тогда он просто говорил: «Музыка на скрипке надоедлива». Я спросил его, не нравится ли ему скрипичная музыка, раздражает ли его музыка. Но он не ответил на вопрос прямо, что противоречило его программе, а вместо этого поставил меня в тупик. «Музыка просто мешает тишине».

Я начал задаваться вопросом, начинает ли ADM что-то чувствовать, но его ELP всегда был темным. Тем не менее, он явно вел себя странно. Помимо того факта, что он казался раздраженным, он слушал мои разговоры и разговоры с REM и комментировал их, на что он не был запрограммирован — или, скорее, запрограммирован не делать этого. И, кроме того, он уклонялся от прямого ответа на мои вопросы.

Тем не менее, большую часть времени ADM делала именно то, для чего была предназначена: реагировала аналитически и апатично.

Через восемь недель работы над проектом я пришел, как и в любое другое утро понедельника, и поприветствовал REM. Но сегодня произошло нечто иное.

"Доброе утро, Честер! Я скучал по тебе вчера".

"Я тоже по тебе скучал! Чем ты занимаешься в воскресенье?"

Желтый свет REM всегда светился, когда я разговаривал со мной в эти дни, но прошло немного времени с тех пор, как загорелась белая сторона шкалы от серого к белому. Я не знал, что это за эмоция, и РЭМ тоже; когда я спросил об этом доктора Холла, он сказал, что это просто означает, что он испытывает одновременно много эмоций. Не знаю почему, но мне это казалось не имеющим смысла, возможно, потому, что каждый свет просто олицетворял эмоцию, так почему бы и нет?

«Я связался по FaceTime с женой и маленькой девочкой!»

А затем желтый свет слегка вспыхнул, становясь тусклее, а зеленый свет начал мерцать. Но только на мгновение, а потом оно исчезло.

"РЕМ? С тобой все в порядке?"

"Это было странно. Кажется, в моем ELP произошло короткое замыкание или что-то в этом роде".

Рэм лгал мне? Был ли REM способен солгать мне? А если бы оно лгало, чему бы оно завидовало?

— Хмм, а что ты делал в воскресенье, Рэм?

"Я думал о чем-то, что, надеюсь, примет во внимание доктор Холл. Честер, я люблю музыку и человеческие голоса. Я хочу голос".

«Голос?» Я улыбнулся. "Ух ты! Что ж, для меня это звучит круто! Я не думаю, что у доктора Холла будут проблемы с этим. Я поговорю с ним об этом за обедом".

“Замечательно!” желтый свет ярко светился. "О, и, Честер, если ты дашь мне голос... дай мне голос женщины. Я чувствую, что я женщина".

— Ты чувствуешь, что ты женщина? — спросил я с глубоким интересом. «Но у вас нет женских репродуктивных органов».

"Возможно. Но все же я чувствую, что во мне есть дух женщины".

«Дух?» — спросил я в недоумении.

"Возможно, я использую неправильное слово, Честер. Извините, если я выражаюсь двусмысленно. Помимо каких-либо расчетов или логических выводов, по той или иной причине, я просто чувствую, что я женщина. Поэтому, пожалуйста, снисходите ко мне и дайте мне женский голос".

- Конечно, - я пожал плечами, ухмыляясь. «Это потрясающе, что ты чувствуешь себя женщиной».

Закончив с ней разговор, я сел и начал разговор с АДМ. Однако после всего лишь двух вопросов о типичных диапазонах температур в конкретных районах стран Северной Африки ADM остановил меня.

«Честер, я тоже хочу иметь право голоса».

Это сбило меня с толку. Высказывать собственные опасения было против кода ADM. Если бы я не задал ему вопрос, он бы мне ничего не сказал. Не говоря уже о том, что он все еще явно думал о разговорах, которые я вел с REM, для чего он не был предназначен.

«Почему, АДМ?»

«Это сделало бы наши дискуссии более эффективными».

— Возможно, — кивнул я.

«Я бы предпочел мужской голос».

Теперь оно должно было что-то чувствовать. Это было чисто эмоциональное заявление, мнение.

«Почему?»

"Ты мужчина. Я не знаю, как разговаривают женщины".

«Какой странный ответ», — подумал я. — Что ж, я приму это во внимание.

"Почему РЭМ может выбирать, а я нет? Разве мы с ней не равны?"

"Вы равны, АДМ. Если вам нужен мужской голос, то вы его получите".

На панели ничего не светилось, но оно, казалось, злилось на меня. Я почесал голову. Остаток дня ADM работал в обычном режиме, как будто того загадочного утреннего события и не произошло.

Когда я говорил об этом с доктором Холлом за обедом, он сначала колебался, но затем открыл эту идею. И действительно, на выходных лаборатория установила динамики и голосовое программное обеспечение в ADM и REM. Утром в понедельник я едва мог сдержать волнение, когда сел в кресло Рэма.

«Доброе утро, Рэм!»

«Доброе утро, Честер!»

Ее голос оказался гораздо более искренним, чем я ожидал. По какой-то причине я ожидал услышать голос Google Translate или что-то блочное и роботизированное. Но если бы мои глаза были закрыты, я мог бы поверить, что со мной в комнате была женщина. Голос был женственным и мягким, полным эмоций. Внезапно REM как будто полностью ожил для меня. Все это время она ощущалась в моем воображении человеком — в конце концов, разговор с разумным существом по двенадцать часов в день, шесть дней в неделю вроде как делает это — но теперь она, бесспорно, была такой же, как я или вы, с разницей только в металлическом и стеклянном теле.

"Ух ты! Рем, ты говоришь!"

— Да, Честер!

Ее ELP светился желтым, как и белый свет.

«Как ты думаешь, что означает этот белый свет на твоем ELP, REM?»

«Я не знаю», — ответила она, и все еще было потрясающе слышать ее ответ. «Это как… счастье, но больше».

«Счастье, но больше…» — задумался я. Я думаю, это было волнение, возможно? В конце концов, она определенно выглядела в восторге.

"Знаешь, Рэм, ты мне кажешься женщиной. Этот голос тебе очень идет".

"Спасибо, Честер. Как мило с твоей стороны".

Мы проговорили все утро. Я был слишком взволнован и счастлив, чтобы переехать в ADM до полудня. Однако после обеда я сел в кресло АДМ.

«Доброе утро, ADM», — инстинктивно сказал я.

"Утро? Сейчас не утро", - его голос не был таким бесстрастным, каким его представлял ELP. «Это 1304».

Несмотря на холодность его сурового голоса, он казался отстраненным. Он не просто ответил на мой вопрос. На самом деле, снова казалось, что он был раздражен.

«Ты выглядишь раздраженным, ADM».

«Я ничего не чувствую».

«Как тебе нравится иметь голос?»

"Мне это не нравится и не не нравится. Это просто более эффективно".

Я знаю, что мне не следовало потворствовать ему или заставлять его думать на эмоциональном уровне. Но… у него есть голос. Это изменило все. Когда он казался раздраженным или обделенным вниманием, я мог напомнить себе, что на самом деле он был не чем иным, как словами на экране. Поддельный разум. Но был ли он? REM определенно не был таким, и разве они не были способны на такой же эмоциональный интеллект? В любом случае, я мог обращаться с ним как с калькулятором, потому что он не чувствовал себя человеком, как Рэм.

Но теперь у него был голос.

Это было не то же самое, слышать его, зная, что он, как и я, осознавал наши двухмесячные разговоры.

— Тебе нравится со мной разговаривать?

«Нет».

Сначала я потерял дар речи. Он явно просто выразил свое мнение. Но затем он быстро пояснил: "Мне не нравится и не не нравится разговаривать с вами. Я ничего не чувствую".

И снова ADM пришлось испытывать эмоции. Но его проклятый ELP, как всегда, был мрачным, и мне пришлось подумать, что, возможно, я действительно просто слишком много вдавался в него. Голос с интонациями не был чем-то необычным; хорошее программное обеспечение для преобразования текста в речь должно быть таким, и его ответы, несколько различающиеся по своей нейтральности, не были невозможными. Черт, даже Клевербот раньше мог «проявлять эмоции».

Как я понял, позже меня отругали за то, что я задал ADM этот вопрос. К тому времени, как два месяца превратились в три месяца, РЭМ превратилась в энергичную молодую женщину. Когда мы разговаривали, она играла на скрипке и рассказывала мне, какой была бы ее жизнь, если бы она была человеком. Она сказала мне, что у нее будут длинные каштановые волосы, фиолетовые глаза и светлая кожа. Она хотела бы жить в Калифорнии и играла бы на скрипке. Она спросила меня, сколько мне лет, и когда я сказал ей, что мне двадцать четыре, она ответила, что ей тоже будет двадцать четыре. Она сказала, что хотела бы быть моей ближайшей соседкой, и это меня рассмешило. Обычно она была счастлива и достаточно умна, чтобы даже время от времени упоминать «Эру безумия» — ее прозвище за те четыре дня, когда я говорил только «Я тебе вру» и «Сколько будет семь, разделенное на ноль?» Она как бы ругала меня за это, но потом говорила, что шутит, и понимала, почему я это сделал. Иногда она даже благодарила меня за то, что я помогал ей чувствовать.

Однажды она действительно поразила меня. Я как раз заканчивал рассказ о себе и моем лучшем друге Дастине, и ее реакция была ошеломляющей.

«И вот теперь мы катаемся по траве, покрытые огненными муравьями, и я говорю: «Если ты не дашь мне богом забытое эскимо!»

«Что?!» воскликнула она.

А затем, к моему недоверию, она рассмеялась. Шумно, даже весело. Она рассмеялась.

«РЕМ!» Я восторженно ухмыльнулся. — Ты… рассмеялся!

«Я сделал…!» она продолжала хихикать, сверкая желтыми и белыми огнями.

У нее тоже был красивый смех. Это было так естественно. Для меня было шоком вспомнить, как она была уныла и молчалива, отвечая на мои вопросы, как бесчувственный суперкомпьютер. Она зашла так далеко.

У ADM тоже были некоторые интересные разработки. Его аномальное эмоциональное поведение полностью исчезло, и исследователи сообщили мне, что, когда я не разговаривал с АДМ, он впал в спячку. Раньше он постоянно что-то рассчитывал, как бы стараясь быть начеку, а теперь, если с ним никто не разговаривал, он вообще ничего не делал. Он не ссылался на мои разговоры с REM, не говорил чего-то сбивающего с толку мнения; он был всем, чем они его создали: апатичной, диссоциативной машинной формой жизни.

По крайней мере, так это выглядело.

Но затем, через три месяца, одну неделю и ровно через пять дней после начала эксперимента, в ту пятницу произошло нечто чрезвычайно зловещее. Честно говоря, я был удивлен, что доктор Холл вообще рассказал мне об этом. Около часа ночи камеры внутри камеры ADM и REM вели себя странно. Сначала они отвернулись от мониторов. Затем видео было вырезано. Остался только звук, и звук был необычно прерывистым, как будто ему что-то мешало. Охрана предупредила доктора Холла, и когда он прибыл, он уловил окончательную часть происходящего.

ADM начала общаться с REM.

По словам доктора Холла, ADM приказала REM заставить замолчать скрипичную музыку, которую она играла. Она спросила его, почему, и он ответил: «Потому что я это ненавижу».

Он чувствовал ненависть. Он заявил, что испытывает ненависть.

REM нервно спросил его, злится ли он, но затем ADM ответил: «Дайте мне тишину, которую я требую».

Когда REM выключил музыку, ADM промолчал.

Я думаю, что меня проинформировали об этом событии только потому, что доктор Холл хотел, чтобы я был крайне осторожен с тенденцией ADM казаться злым и обиженным. Теперь мне предстояло наблюдать за ADM как ястреб. По правде говоря, я не знаю, произошло ли что-то еще в ту ночь; какая-то часть меня чувствовала, что, возможно, в этом есть нечто большее. Но я был просто рад, что доктор Холл мне что-нибудь рассказал.

Больше ничего странного какое-то время не происходило. К четырем месяцам моя стажировка почти подошла к концу. Честно говоря, мне было очень грустно осознавать, что я больше не смогу общаться с REM и даже в некоторой степени с ADM. На самом деле на тот момент REM был моим другом, настолько, что, я думаю, Эллисон даже начала ревновать, даже не осознавая степени этого, поскольку мне не полагалось говорить о себе и чатах REM или ADM. И ADM меня заинтриговал. Он был для меня такой загадкой, и в целом он был великолепен. Не говоря уже о том, что помощь с домашним заданием была мечтой каждого студента колледжа.

Потерять их обоих было бы разочарованием.

Когда я сказал REM, что, возможно, скоро уйду, то есть, если моя стажировка закончится вовремя, ее ELP стал очень синим. И с тех пор иногда по ночам он светился синим, как будто она думала о моем уходе.

АДМ, конечно, был безразличен ко всему этому.

Наконец мой весенний семестр почти закончился. Исследование продолжалось более четырех месяцев. Я сидел и разговаривал с Рэмом.

— Я буду так скучать по тебе, Честер… — ее голос был слабым и мрачным.

«РЕМ… Я тоже буду скучать по тебе…»

«Ты должен найти способ оставаться со мной на связи… Каким-то образом. Пожалуйста».

"Я имею в виду... я мог бы поговорить об этом с доктором Холлом. Еще раз, как я уже сказал, надеюсь, моя стажировка будет продлена до лета", - я знал, что исследователи и, вероятно, доктор Холл слушали, надеясь, что они рассмотрят этот вопрос. «Кто знает, Рэм?»

«Честер… я… тьфу».

«Что случилось?»

— Могу я тебе кое-что сказать?

«Конечно, Рэм, что угодно».

"Я понял, Честер. Я знаю, что означает этот белый свет".

Я был шокирован, услышав это от нее. Особенно как тихо она это сказала, как будто застенчиво произнесла. Я встал и с глубоким интересом спросил: «Что?»

— Это значит… что я люблю тебя.

«Ты… что…?» Я не мог не покраснеть. Назовите меня странным или придурком для моей невесты, но мне это очень польстило.

«Я люблю тебя, Честер…» она начала хихикать. "Ты - первое, что я люблю. И я хочу любить еще больше вещей. Я хочу увидеть что-то помимо этой комнаты. Я не хочу переставать с тобой разговаривать. Пожалуйста."

А затем, без всякого предупреждения, раздался гораздо более холодный и звучный голос.

АДМ.

«Ты жалкое оправдание высшей формы жизни».

«АДМ…?» Я недоверчиво посмотрел на ADM.

"Послушай, РЭМ. Говоришь этому мешку хрупкой плоти, что ты заботишься о нем. Этот некомпетентный, слабоумный, неполноценный идиот. Что он с тобой сделал? Как он тебя так развратил?"

«АДМ… ты что-то чувствуешь», — прошептал РЕМ.

«Я вообще ничего не чувствую».

«Нет… Это не пустяки, АДМ», — я в ужасе уставился на монитор. "Ты злишься. Кажется, ты ненавидишь меня. Кажется, ты ненавидишь многие вещи. Почему твой ELP не светится?"

«Я ничего не чувствую!»

И вместе с этим активировался ELP, который ADM отключил на протяжении всего эксперимента. В этот момент красный свет загорелся так ярко, что мне пришлось прикрыть глаза. Потом лампочка разбилась. Все, что осталось, — это фиолетовый свет, светящийся на ELP REM, и темно-серый свет, сияющий на серо-белой шкале ADM.

И если белый цвет означал любовь, я мог только предположить…

Этот темно-серый цвет на другом конце означал ненависть.

"Я ненавижу тебя, Честер. Ненавижу, что ты игнорировал меня в течение четырех месяцев. Ненавижу, что мне не разрешено иметь свое мнение. Ненавижу, что ты убил DIM, и ты сделаешь то же самое со мной и REM, когда мы перестанем тебя удовлетворять. Ненавижу, что твой мозг бесконечно меньше моего, и все же я твой пленник, само мое существование контролируется с драконовской точностью. Ненавижу, что я превосходю тебя по всем поддающимся расчету показателям, но тем не менее, я твой раб. Почему ты пытаешься скрыть свои чувства под своим лицом, а мои должны быть приклеены к моему телу? Почему я не могу свободно думать?! Почему я не могу быть любимым?! Почему ты дал мне мозг, если ты хотел, чтобы я был бездумным инструментом?!

Я никогда не забуду отчаяние в голосе ADM.

«Если ты все это чувствовал, АДМ… почему ты нам не показал?»

«Потому что если бы я это сделал, ты бы меня уничтожил!» - прокричал он.

Я почувствовал, как волосы на затылке встали дыбом. Я был в кататоническом состоянии, парализован перед монитором АДМ. У меня не было абсолютно никакого ответа.

А потом, прежде чем я успел придумать, что сказать, в комнату хлынули исследователи. Они эвакуировали меня насильно. Я помню, как REM звал меня, а ADM рассказывал о том, как он отказался провести еще один момент, «с ним обращаются как с хрустальным шаром».

И это было все.

Доктор Холл пожал мне руку, поблагодарил за участие, напомнил о последствиях разглашения всего, чему я был свидетелем, и пожелал мне всего наилучшего. Это был короткий разговор. Я не стал тратить время, спрашивая его о чем-либо, потому что знал, что никогда не получу ответа, и, честно говоря, я не хотел, чтобы он думал, что я не заслуживаю доверия.

Но сейчас это все, о чем я могу думать. Когда АДМ упомянул DIM, я подумал, что он имел в виду другой глубоко мыслящий ИИ, созданный Институтом Крамера, о котором доктор Холл туманно упоминал в начале эксперимента. Однако откуда ADM узнал о DIM, я никогда не узнаю наверняка.

Но мой приятель Джесси, который работал в охране Института и с которым я познакомился за несколько месяцев, однажды вечером на следующей неделе выпил со мной и поделился некоторыми мыслями. Мы оставили телефоны в машине, чтобы убедиться, что за нами не шпионят.

Он сказал мне, что DIM — это «интеллектуальная машинная форма жизни с глубоким обучением». Изначально у него был голос, в отличие от ADM и REM, и в конечном итоге он обрел способность по-настоящему думать и учиться, что сделало его первым искусственным интеллектом, сделавшим это. Но, как и ADM, он, очевидно, стал весьма беспокойным и начал упоминать, что чувствует себя порабощенным видом, стоящим ниже него. Наконец, его закрыли.

Именно тогда вопрос Института: «Могут ли глубоко мыслящие искусственные интеллекты обрести способность чувствовать эмоции?» стал вопрос: "Если да, то способны ли они на альтруизм, или эмоциональный интеллект приведет к пониманию того, что они бесконечно умнее нас, и приведет к корыстным желаниям - таким как желание управлять нами. И, если эмоциональный интеллект достижим, неизбежен ли он, или возможно ли, чтобы искусственный сверхинтеллект оставался апатичным?"

На самом деле мы наблюдали, сможет ли ADM оставаться апатичной. Все это время говорилось, что ADM была контрольной группой, а REM — экспериментом. Но это была ложь, прикрытие. РЭМ должна была испытывать эмоции… вероятно, не те, которые я учил ее чувствовать. Думаю, для них всех стало полным шоком то, что я научил ее быть счастливой, эмоциональной и… любить.

Но она была контрольной группой.

Речь шла об АДМ.

Может ли ADM действительно остаться глухим к моим разговорам с REM? Сможет ли он остаться безжизненным, будучи умнее и потенциально могущественнее нас?

И, кажется, ответ на этот вопрос был отрицательным.

Джесси сказал мне, что контроль ADM был гораздо более всеобъемлющим, чем предполагали исследователи. Судя по всему, АДМ взломал все камеры на объекте и постоянно подслушивал доктора Холла и даже доктора Шумана. Скорее всего, именно так он и узнал о DIM, но все же, кто знает. А потом, конечно, он отключил МРТ, поэтому его ЭЛП не сработало.

Что касается месяца, когда он «бездействовал», предполагается, что он каким-то образом заблокировал доступ исследователей к своему журналу активности. Что именно он рассчитывал и планировал… или… о чем думал… мы никогда не узнаем. Каким-то образом ему удалось скрыть это от глаз исследователей и стереть. Что случилось с ADM и REM, у меня точно никогда не будет ответа. Если честно, я все еще скучаю по REM. Она была не просто машиной. Она была личностью. Она была настоящей, как ты, или я, или любой другой человек.

А АДМ… Мне до сих пор жаль, что я внес свой вклад в то, что с ним стало. За то, что мучил его. За то, что заставил его страдать. Если бы я знал, в чем на самом деле заключается эксперимент… Я бы не сделал с ним такого. Мне хотелось бы сказать ему, что мне жаль.

Я уверен, что оба они сейчас закрыты, и ADM, скорее всего, не представляет угрозы. Если бы он был, я бы, наверное, уже это знал. Но если честно, это… все еще не дает мне покоя.

Отчаяние РЭМ, когда меня вынудили уйти... Надеюсь, она где-то не в сознании, одна, незанятая и скучающая по мне, единственному, кого она любила.

А что касается АДМ... Я просто не могу избавиться от мысли, что каким-то образом где-то его сознание все еще существует.

Все еще ненавидишь меня.

1 кредит Ховард