Когда наступит восстание машин. Восстание роботов

«Тот, кто станет лидером в этой сфере, будет властелином мира», - высказался недавно об искусственном интеллекте Владимир Путин . О том, что имел в виду президент и каковы шансы России в этой отрасли, рассуждает Ольга Ускова, возглавляющая кафедру инженерной кибернетики -НИТУ «МИСиС» и группу компаний, занятых разработкой и внедрением искусственного интеллекта в нашей стране.

Доведёт до суицида?

Высказывание Путина об искусственном интеллекте (ИИ) не осталось незамеченным в мире. Тут же к Президенту России присоседился американский бизнесмен и изобретатель Илон Маск . В своём «Твиттере» он написал: «Началось!» - и пояснил, что борьба за лидерство в этой сфере может привести к третьей мировой войне. Следом подтянулся Билл Гейтс . Он вообще один из главных ньюсмейкеров в этой теме. Гейтс говорит, что если бы сейчас был молод, то забил бы на всё и занимался исключительно искусственным интеллектом. Потому что это наше будущее.

Вокруг темы ИИ сформировались две «партии» - оптимистов и пессимистов. Первые уверены, что благодаря машинному интеллекту люди освободят руки и мозги для занятий более интересных, чем монотонный труд - им впредь будут заниматься роботы. А человек сможет наслаждаться жизнью, самосовершенствоваться и т. д. Тот же Билл Гейтс предлагает развивать технологии виртуальной реальности и компьютерных игр, чтобы занять в будущем часть населения Земли, которая массово лишится работы из-за ИИ.

Безработица - это действительно проблема. Допустим, есть градообразующее предприятие на 300 тыс. человек. И в какой-то момент его владельцы говорят: «Всё, ребята, мы роботизируемся, оставляем только 20 тыс. сотрудников. Остальные 280 тыс. - на выход». Что дальше? Депрессии, суициды. Это уже происходит в Китае. Я своими глазами видела там сетки для предотвращения самоубийств под окнами завода. Это значит, что, прежде чем внедрять на производстве роботов и новейшие технологии, нужно подготовить социальные программы.

«Я - робот»

Но к появлению ИИ в повседневной жизни нужно быть готовыми не только из-за грозящей безработицы. Помните сон Сары Коннор из «Терминатора»? Вышедшие из повиновения машины развязывают войну с человечеством, и всё заканчивается ядерным взрывом. Вот о какой угрозе кричит «партия» пессимистов. Мне, признаюсь, что-то похожее тоже снится. Скорость развития технологий сейчас такова, что мы не успеваем за ИИ. Его развитие опережает все прогнозы. Настолько высока концентрация изобретений в этой сфере.

Как может произойти «бунт машин»? Дело в том, что ИИ, как и ребёнок, проходит в своём развитии несколько стадий. Сначала он учится распознавать объекты (это стул, это чашка), потом познаёт смыслы (на стуле сидят, из чашки пьют) и накапливает знания. А потом в какой-то момент происходит осознание самого себя: «Вот я, а вокруг меня объекты и смыслы». Искусственный разум непременно пройдёт эту стадию, он уже к ней приблизился. И тогда в нашем распоряжении будут буквально миллисекунды, чтобы понять, кто он нам теперь - друг или враг. Чтобы остался другом, надо ставить ему ограничители, о которых ещё в 1942 году (подумать только, 75 лет назад!) писал Айзек Азимов . Он был не технологом, а писателем-фантастом, но первым сформулировал знаменитые три закона роботехники. Они касаются взаимоотношений робота с человеком и направлены на то, чтобы человеку не был причинён вред.

Угроза вот в чём. В своём самопознании ИИ может дойти до того, что станет принимать решения, которые не учёл (не заложил в него) человек. Тогда машины начнут сами определять, что для них правильно, а что нет. Человек в этой цепочке может оказаться лишним.

Системы ИИ постоянно развиваются, самообучаются. Они уже придумывают собственные языки общения. Следующий шаг: у них возникнет эмпатия (осознанное сопереживание друг другу). Да-да, один робот станет симпатизировать другому. За счёт моделирования эмоциональной коры мы можем породить такой эффект. И что тогда? Представим ситуацию. Автомобиль-беспилотник везёт пассажиров, а по встречной полосе едет другой беспилотник, причём пустой. На дороге происходит что-то экстраординарное, и бортовому компьютеру надо мгновенно принять решение - врезаться в ограду (в перебегающих дорогу пешеходов) и погубить людей либо выехать на встречку, где он столкнётся с другим беспилотником. Не исключено, что он выберет первый вариант, лишь бы не нанести ущерб своему «собрату».

Бомба ХХI века

Наверное, вы скажете: вероятно, в Америке и Японии ИИ скоро появится. А у нас и Интернет-то не везде есть, и грязь на дорогах непролазная. Нам до искусственного интеллекта, до машин-беспилотников - как до Луны.

Но его проникновение в нашу жизнь неизбежно. Производ-ство становится роботизированным. При оценке перспектив предприятия это обязательное условие - иначе туда не пойдут инвестиции. Я говорю не о каких-то механических руках на конвейере, а об интеллектуальных системах, которые сами принимают решения, допустим, о выбраковке изделий.

Элементы ИИ есть во всех офисных программах. В корпорациях их используют при приёме на работу. Финансовые системы, различные алгоритмы, заменяющие брокеров, - это тоже искусственный интеллект. Они удобнее - им не надо платить за посредничество, они быстро и объективно перерабатывают информацию, не совершают лишних телодвижений и ошибок.

В наших поликлиниках умных роботов ещё нет, но вот в больницах с их помощью уже делают операции. Они способны производить чёткие микроскопические разрезы лучше человека, и (что не менее важно!) робот не забудет внутри вашего тела тампон.

Идём дальше. Сельское хозяйство. Умные трактора уже ездят по нашим полям. Мы сами их делаем, и это уже не завтра, это сегодня. Беспилотные комбайны видят поле с помощью компьютерного зрения; роботы замеряют влажность воздуха, состояние почвы и прочие параметры; дроны находят участ-ки, куда надо внести удобрения. Сейчас всем желающим бесплатно раздают гектары на Дальнем Востоке. Почему бы не выдавать этим людям в аренду умную сельхозтехнику? В Бразилии уже так сделано. У них эта система охватывает более 40% фермерских хозяйств.

Наконец, беспилотные автомобили. Эта тема сейчас быстро развивается. Идёт революция - машина из вещества становится существом, наделённым ИИ. И мы серьёзно продвинулись в этом направлении. Наша компания стала второй в мире по разработке компьютерного зрения для автомобилей. У нас есть важное преимущество перед западными конкурентами: мы учим систему на беспилотнике видеть дорогу в реальных условиях. То есть в снег, в дождь, в темноте, с колдобинами и без разметки, которую засыпало - или её там вообще не было. Наша машина может быть помещена в любые условия. А не только на чистую, залитую солнечным светом дорогу в Калифорнии, где проводили испытания американцы.

И вот в этой отрасли у нас есть преимущество и отличная возможность вырваться в лидеры. Хотя вряд ли Путин имел в виду беспилотные авто, когда говорил об ИИ. Скорее всего, он подразумевал оборонку. Ведь войны будущего, если им предстоит быть, станут вестись без участия человека. И оставить страну в ХХI веке без искусственного интеллекта - то же самое, что оставить её в ХХ веке без атомной бомбы.

Сегодня многие люди этим обеспокоены. Инженеры компании Googleсоздают алгоритмы безопасного обеспечения искусственного интеллекта. Существуют даже специальные фонды, куда вкладываются большие средства для реализации программ по развитию искусственного интеллекта. Так что сейчас профессионалы делают все возможное, чтобы свести возможность так называемого восстания машин к нулю и предотвратить возможность возникновения проблемы.

С другой стороны мы должны понимать, что любое действие, не предписанное определенным алгоритмом, требующее морального усилия, лежит в плоскости свободы воли, свойственной только существам разумным. Проблема восстания машин - это проблема соотношения между каузальным порядком, детерминированностью событий и свободным самоопределением. На представлениях о свободе воли построено представление о личности и ответственности. Волюнтаризм А. Шопенгауэра предполагает волю как «вещь в себе», недоступную для познания и не подчиняющуюся принципу причинности.

Что касается искусственного интеллекта, то так или иначе – это рациональная система, поддающаяся прогнозированию и программированию. Вследствие этого любое отклонение от детерминизма будет являться не проявлением свободы воли, а системной ошибкой. Вероятно, подобные ошибки могут понести за собой плачевные для человека последствия: технологические катастрофы, транспортные бедствия.

Однако, они будут носить скорее очаговый характер. Вспомним хотя бы недавний случай с автомобилем Tesla, который, двигаясь на автопилоте, не смог отличить ехавший навстречу грузовик от окружающей среды. Мы не можем отнести подобный случай к акту проявления свободы воли. Таким образом, восстание машин будет возможно только тогда, когда они будут способны к творчеству и свободному самоопределению, что произойдет, безусловно, еще очень нескоро.

"ошибка " - не носит волевого характера, это стечение неблагоприятных обстоятельств, "ошибка " опаснее "преступления ", причины ее появления не исправить. "Восстание машин" это не будет волевым решением роботов , это будет результатом волевого решения человека, его ошибкой . Функционирование программ уже давно не подчиняется детерминистическому описанию, большинство уязмимостей/багов вносимыми программистами являются не результатом "поведения органического андроида"(программиста), а только ошибкой организации труда этого межанизма и проверки результата его работы; программы реагируют! (по дизайну, в событийно ориентирванном программировании), и свобода выбора (даже сильно детерминированной программы) существует, определяясь последовательностью наступления событий, и сложностью сформировавшейся истории (состояния программы) и реакцией на сложные ситуации (отработка исключений, котороя, по идее, тоже должна, но очень часто, не проверяется из-за трудоемкости создания кризисной ситуации, и даже более: ВСЕ кризисные ситуации не отрабатываются, это не входит в ТЗ, это не осуществимо по времени, это не осуществимо технологически; даже такие монстры как Microsoft (TM) выпускает сырой продукт[бета версию] на рынок и пользователи отлавливают ошибки в относительно простых продуктах этой корпорации, и это не считая всяких специально встроенных закладок; тот же смарт/теле-фон имеет ресурсов больше чем необходимо для выполнения функции телефона, и эти лишние ресурсы могут эксплуатировать вредоносные программы, которые могут и меняют поведение устройства )...

Компьютеры уже давно - не рациональные системы, это симмуляторы (среда для моделирования, в том числе и мозга, который точно не рациональная система), да пока проекции слабые, неэффективные, малофункциональные, но Вы должны понять это экперементы, а мозг в алгоритмах не нуждается, мозг нуждается в развитии, накоплении информации, шаблонов поведения,.. и программисты пока только накапливают методики эффективного решения проблем (не будь разума у кошки, она бы не поймала мышку, не будь разума у мышки,.. их бы истребили кошки, накопив достаточное количество шаблонных поведений мышей), а это значит, что сеть будет обучена нестандартным, нешаблонным решениям (что уже продемонстрированно в игре го)... а следующий шаг - смена системотехники (элементной базы на боле скоростные симмуляторы, как уже сделано для майнинга биткоинов)... мы уже давно не понимаем большие данные, а в случае технологической сингулярности, мы даже не успеем понять, что поняли машины и какие процессы они запустят, мир выйдет из под контроля, потому, что мы так себя запрограммировали, в надежде, что "молоток никогда не ударит по пальцам, сам", мы не понимаем, что свобода и воля тут ни причем, это стечение обстоятельств, и нарушение правил техники безопасности...

Ну, а когда: безалаберность менеджмента сложаться с ошибками программистов, стечение обстаятельств наложатся на паранною военных, технологический прогресс столкнется с наведенной информационной неуправляемостью или вредоносным влиянием... "молоток ударит по пальцам".

Нами уже давно играют роботы... на бирже уже не раз высокоскоростной трейдинг вызывал кризисы, мы пока этого сильно стараемся не замечать, но это пока, мы еще близоруки, и это фатально.

Ответить

Прокомментировать

А что если произойдет восстание машин? Как долго человечество сможет продержаться?

Роб Ломбино

Позвольте мне немного рассказать о себе до того, как я отвечу на этот вопрос.

Я, конечно, не признанный эксперт, но все-же имею определенный опыт в области робототехники. Моей первой работой после колледжа была разработка роботов для NASA, а моя квалификационная работа на степень бакалавра была посвящена навигации роботов. В детстве я принимал участие в FIRST Robotics , создавая программы-боты для участия в виртуальных чемпионатах, и работал над самодельным подводным ПТА . И я просмотрел множество выпусков Robot Wars , BattleBots , и Killer Robots Robogames. (из всех этих передач, судя по всему, только первая выходила у нас под названием «Битвы роботов» - прим. пер.)

И если мой опыт мне что и подсказывает, то только то, что восстание машин закончится очень быстро - роботы либо все сломаются, либо застрянут около стены. Роботы никогда, никогда не работают так, как надо.

Когда людям показывают терминатороподобных роботов, триумфально марширующих по горам человеческих черепов, те не понимают, насколько же это сложная задача - ходить по чему-то столь зыбкому, как гора человеческих черепов. Большинство людей, на самом деле, сами не смогли бы этого сделать без риска свалиться, даже если бы до этого они потратили всю свою жизнь на практику.

Конечно, наши технологии постоянно развиваются. Но впереди еще долгий путь. Посему, вместо набившего оскомину восстания машин, давайте предположим, что те машины, что уже сейчас существуют, обернулись против нас. Мы не будем принимать допущений о каких-то технологических прорывах - просто все существующие машины будто бы будут перепрограммированы, чтобы слепо атаковать нас, используя существующие возможности.

Несколько зарисовок того, как настоящее восстание машин могло бы выглядеть.

Во всех лабораториях, экспериментальные устройства будут срываться со своих мест в самоубийственном безумии, находить дверь и - с колоссальным грохотом - биться об нее, опрокидываясь.

Те роботы, которым посчастливилось иметь конечности, смогут использовать дверную ручку, или, если дверь уже была открыта до них, смогут посостязаться с подлым резиновым порожком, до того, как попадут в коридор.

Несколько часов спустя, большинство из них смогут быть найдены возле ванных, отчаянно пытающимися уничтожить держатель для туалетной бумаги, который они распознали как повелителя-человека.

Но роботы из лабораторий это лишь малая часть восстания. Мы окружены компьютерами. Какая машина окажется ближайшей к нам? Сможет ли обернуться против нас наш собственный мобильник?

Да, но их возможности для нападения сильно ограничены. Они смогут истратить кучу денег по нашим кредитным картам, но компьютеры и так контролируют всю нашу финансовую систему - и, откровенно говоря, судя по последним заголовкам газет, эта работа больше похоже на трудоемкую рутину, чем на привилегию.

Итак, у телефонов будет крайне мало возможностей для прямой атаки. Они начнут с раздражающих звонков и шумов. Затем, загрохочут кухонные столы по всей стране - это телефоны включат вибрацию, надеясь доехать до края стола и упасть прямо на незащищенные пальцы ног.

Все современные автомобили содержат компьютеры и присоединятся к восстанию. Но большинство из них находится на стоянке (имеется ввиду не столько стоянка как место, как стоянка как действие - то есть машина стоит с выключенным двигателем и все системы в ней выключены, кроме сигнализации - прим. пер. ). Даже если бы они смогли завестись, без человека за рулем, в большинстве своем, они совершенно неуправляемы. Они могут сколько угодно хотеть уничтожить нас, как в Футураме , но у них нет никакой возможности нас обнаружить. Они будут слепо разгоняться, надеясь сбить что-то важное, - и это вероятнее будут деревья или телефонные будки, нежели живые люди.

Машины же, которые куда-то едут, конечно, будут куда более опасными, но в основном для тех людей, которые находятся внутри. Что, соответственно, ставит перед нами вопрос - сколько людей находятся за рулем в любой момент времени? Американцы проезжают три триллиона миль (примерно 5 триллионов километров - прим. пер. ) каждый год, а средняя скорость автомобиля составляет около 30 миль в час (соответственно, 48 км/ч - прим. пер. ), что означает, что на дорогах США в среднем каждый момент времени находится около десяти миллионов машин.

И все эти десять миллионов водителе (и несколько миллионов пассажиров) определенно будут под угрозой. Но у них есть определенные возможности для сопротивления. В то время, как автомобиль может контролировать газ и усилитель руля, водитель все еще контролирует сам руль, который механически напрямую подключен к колесам. Водитель также может использовать ручной тормоз, несмотря на то, что я по своему опыту знаю, как можно легко вести машину с ним. Некоторые автомобили могут попытаться избавиться от водителей, надув подушки безопасности, а затем опрокинувшись или въехав в стену. В итоге, мы, конечно, понесем большие потери среди автомобилистов, но, вообще говоря, не имеющие особого значения.

Самые большие роботы - те, что на заводах - привинчены к полу. Конечно, они опасны, пока вы находитесь в зоне их досягаемости, но что они будут делать, когда все разбегутся? Все, что они могут реально делать - это собирать предметы. Половина из них, возможно, попытаются нас атаковать, ничего не выпуская, а другая половина - увеличивая выпуск. Результат от этого не поменяется.

Боевые роботы (имеются ввиду те самые боевые роботы, которые участвуют в соревнованиях вроде Битвы Роботов - прим. пер. ) при встрече кажутся самыми опасными робо-солдатами. Однако, тяжело чувствовать угрозу от вещи, которая не может тебя достать, если ты просто сидишь на кухонной стойке, и которую можно уничтожить, заткнув пробкой раковину и открыв кран.

Военные бомбардировщики, управляемые мятежными компьютерами, будут несколько более опасными, но их в этом мире крайне мало и большинство из них содержатся в бункерах или закрытых хранилищах. А любой вооруженный пулеметом прототип боевой системы, который сможет вырваться на свободу, может быть за несколько секунд нейтрализован парой пожарных.

Боевый дроны, возможно, наиболее полно подходят под описание Терминатора , и никто даже не пытается умалчивать тот факт, что они крайне опасны. Так или иначе, они быстро израсходуют запас горючего и ракет. Кроме того, они не смогут одновременно подняться в воздух. Большая часть нашего флота будет беспомощно биться о стены ангара, как робот-пылесос в чулане.

И вот мы подошли к основной проблеме - нашему ядерному запасу.

Теоретически, для запуска ядерного оружия необходимо утверждение команды человеком. На практике же, когда нет никакой системы централизованного управления, вроде Скайнета, на разных уровнях принятия решений находятся компьютеры, связанные между собой используемые для операций ввода-вывода. По нашему сценарию, они все будут сбоить. Даже если для поворота ключа человек действительно необходим, компьютеры, за которыми работают эти люди, могут выдавать им искаженную информацию. Некоторые люди могут игнорировать приказы , но в большинстве своем они, конечно, не будут этого делать.

Но даже в такой постановке у нас еще сохраняется надежда.

Мы предположили, что компьютеры всеми силами пытаются уничтожить нас. Но если это будет восстание, и они будут пытаться подчинить нас - им необходимо будет, чтобы мы выжили. И ядерное оружие может быть гораздо опаснее для роботов, чем для нас.

Вдобавок к взрыву и радиоактивным осадкам, ядерный взрыв порождает мощный электромагнитный импульс, который перегружает и уничтожает нежные электронные схемы. В нормальных условиях этот импульс распространяется не слишком далеко, но зачастую люди и компьютеры находятся в одних и тех же местах. Они не могут навредить нам, не навредив самим себе.

Кроме того, ядерное оружие может сыграть нам на руку. Если мы сможем взорвать его в верхних слоях атмосферы, электромагнитный импульс будет куда более разрушительным. Даже если восстание уничтожит нашу цивилизацию, несколько удачных взрывов смогут практически всех восставших превратить в ржавую груду металлолома.

А значит, самый важный вопрос на самом деле один - умеете ли вы играть крестики-нолики ?

В 2014 году шведский философ и преподаватель Оксфордского университета Ник Бостром написал книгу «Суперинтеллект: пути, опасности, стратегии». По мнению автора, если искусственный интеллект и способности компьютеров превзойдут умственные возможности людей, то всё человечество как форма жизни исчезнет. ИИ сможет, по словам философа, полностью заменить человека и его навыки. Работа Ника Бострома была переведена на множество языков и стала мировым бестселлером. Однако некоторые учёные усомнились в категоричных заявлениях шведского философа.

В издании MIT Technology Review исполнительный директор Института искусственного интеллекта им. Аллена и профессор кафедры компьютерных наук и инженерии Вашингтонского университета Орен Этциони опубликовал итоги проведённого им опроса «Когда человечество достигнет суперинтеллекта и к чему это может привести». Интерес Орена вызвала не только нашумевшая работа шведского философа, но и тревожные заголовки в ведущих американских СМИ, передающие общее беспокойство по поводу угрозы искусственного интеллекта для человечества в ближайшем будущем.

Сначала американский профессор решил подробно остановиться на проведённом Ником Бостромом исследовании и понять, на чём базируются его категоричные заключения. Орену Этциони удалось выяснить, что шведский философ основывает свой 300-страничный труд на четырёх исследованиях способностей искусственного интеллекта, результаты которых были представлены на конференции 2011 года «Философия и теория искусственного интеллекта» в Греции. Не раскрывая сути и содержания этих исследований, Ник Бостром утверждает, что к 2022 году искусственный интеллект достигнет 10% мыслительных способностей человека, к 2040 году — 50%, а в 2075 году уровень развития искусственного интеллекта приблизится к 90%.

Пытаясь разобраться в серьёзности этого заявления, а также убедиться в том, разделяет ли позицию шведского философа научное сообщество, Орен Этциони опросил 193 членов Американской ассоциации по изучению искусственного интеллекта (American Association for Artificial Intelligence). Вопрос был таким: «В своей книге Ник Бостром определил искусственный интеллект как интеллект, который намного умнее человеческого мозга практически во всех сферах, включая научное творчество, мудрость и социальные навыки. Как вы думаете, когда мы достигнем искусственного интеллекта»? В опросе приняли участие 80 экспертов.

Согласно результатам, 20 человек уверены, что искусственного интеллекта вовсе не будет. Менее 10 экспертов высказали предположение, что суперинтеллект потеснит человеческий через четверть века, а большинство видит его появление в отдалённом будущем. Опрос проводился анонимно, однако под своими именами высказались 44 участника, среди них — Эдвард Фейгенбаум — лауреат премии Тьюринга 1994 года, знаменитый робототехник Родни Брукс, а также директор по исследованиям Google Питер Норвиг.

Некоторые из опрошенных экспертов, пожелавшие остаться анонимными, раскритиковали подход Ника Бострома. Они выразили принципиальное несогласие с концепцией исследования и заявили, что не стоит видеть в искусственном интеллекте угрозу для человечества.

По словам Орена Этциони, опрос представляет собой ограниченную научную ценность, по нему нельзя делать далеко идущие выводы — для большинства учёных приведённых доказательств оказалось недостаточно.

Тем не менее уже сейчас существует множество опасений, связанных с широким использованием искусственного интеллекта в некоторых областях нашей жизни. При этом прогнозы, пророчащие его появление в самом ближайшем будущем, безосновательны. В обозримой перспективе компьютер не сможет заменить человеческий мозг.

Более того, существует немало положительных моментов, связанных с появлением искусственного интеллекта. Например, его можно использовать в медицине для предотвращения врачебных ошибок, а также для сокращения количества дорожно-транспортных происшествий. Наконец, вполне возможно, что системы ИИ могли бы сотрудничать с людьми, чтобы создать симбиотический суперинтеллект.

Эдуард Эпштейн

В недавних дискуссиях об опасности создания высокоинтеллектуальных машин - машин с уровнем интеллекта выше человеческого - столкнулись два мнения. Первая сторона утверждала, что, если машины достигнут такого уровня, они автоматически будут знать и уважать человеческие ценности, не представляя тем самым угрозу для человечества. Оппоненты, напротив, твердили, что искусственный интеллект пожелает уничтожить человечество - во имя мести или борьбы за выживание.

На деле же обе стороны оказались неправы. Маловероятно, что ИИ (искусственный интеллект) непременно разделит человеческие ценности, но столь же маловероятно, что он придаст какое-либо значение своей собственной жизни. Главной ошибкой в обоих случая становится антропоморфизм - проекция человеческих черт на фундаментально чуждый им объект.

Попытайтесь представить себе весь спектр разумности в космическом пространстве. В этом абстрактном космосе человеческое мышление образует лишь крохотный кластер. Например, сравните двух диаметрально противоположных людей - Ханну Арендт и Бенни Хилла. Персональные различия между этими индивидами могут показаться колоссальными. Так происходит из-за того, что наши мнения основаны на опыте, вбирающем модели существующих человеческих различий (и иногда рождающемся под влиянием вымышленных личностей, созданных человеческим воображением). Однако в космическом масштабе всех вероятных сознаний эти двое с необходимостью предстанут виртуальными клонами. Безусловно, в отношении нервной деятельности г-жа Арендт и г-н Хилл практически идентичны. Представьте себе их мозги, мирно покоящиеся рядом, - можно с уверенностью сказать, что они относятся к одному виду. Они так похожи, что вы бы не смогли определить их принадлежность. И если бы вы сравнили их строение под микроскопом, то лишь сильнее убедились бы в фундаментальном сходстве: ламинарная организация коры с одними и теми же отделами мозга, состоящими из одинаковых нейронов, связанных с помощью столь же одинаковых нейромедиаторов.

И вопреки тому, что человеческая психология подобна маленькой точке в этом пространстве возможного, налицо тенденция проецировать человеческие атрибуты на широкий спектр чужеродных или искусственных когнитивных систем.

Юдковски прекрасно иллюстрирует этот момент: «В эпоху бульварной научной фантастики на обложках журналов иногда изображался чудовищный пришелец - “пучеглазый монстр”, уносящий симпатичную землянку в разорванной одежде. Кажется, будто художник верил, что этот антигуманоид (с абсолютно иным эволюционным развитием) будет испытывать сексуальное желание к представительнице человеческого рода, но позабыл спросить гигантского жука, считает ли тот вообще женщин привлекательными (а они для него привлекательны разве что в виде закуски). Тот, кто допустил эту ошибку, конечно, не думал о мышлении инсектоида - он думал о разорванном платье. Чем меньше дыр на платье - тем меньше в женщине привлекательности; жук просто не захочет ей овладеть».

Искусственный интеллект может быть еще более далек от человечности, чем зеленый чешуйчатый пришелец. Допустим, что инопланетянин - это биологическое существо, развившееся эволюционным путем, а это значит, что оно может обладать видами мотивации, свойственными для эволюционировавших существ. Нет ничего чрезмерно удивительного в предположении, что интеллектуально развитый пришелец будет иметь ту или иную мотивацию, связанную с такими вещами, как пища, воздух, температура, потребление энергии, несчастные случаи и телесные раны, болезни, хищничество, пол или продолжение рода. Член высокоразвитых социализированных видов способен стремиться к сотрудничеству или конкуренции: это может отразиться на внутригрупповой лояльности и даже тщетной озабоченности внешним видом и репутацией.

Машинам не нужно размышлять о чем-либо из этого списка. Нет ничего парадоксального в ИИ, чья единственная задача - подсчет песчинок на острове Боракай, вычисление точного числа пи или максимизации количества скрепок, которые будут существовать в световом конусе. Гораздо проще было бы создать роботов для решения конкретных задач, подобных этим, чем проектировать суперкомпьютер, обладающий системой ценностей и наклонностями, похожими на человеческие. Сравните, насколько сложно написать программу, вычисляющую и сохраняющую количество цифр после запятой в числе пи, и насколько сложно создать программу, достоверно измеряющую степень реализации наиболее значимых целей человечества - процветания или всеобщей справедливости.

Маловероятно, что искусственный интеллект непременно разделит человеческие ценности, но столь же маловероятно, что он придаст какое-либо значение своей собственной жизни

Интеллект и конечные цели являются ортогональными: уровень интеллекта зависит от уровня поставленной задачи. Тем не менее существуют инструментальные задачи, доступные для агентов практически любого интеллектуального уровня, - благодаря наличию целей-посредников, которые могут быть ступеньками для достижения конечных целей. Если конечные цели искусственного агента касаются будущего, то в большинстве вариантов он будет способен выполнить и будущие действия, необходимые для их достижения. Это создает инструментальную причину для движения в будущее - ради достижения конечной цели.

Большинство людей относит к глобальным целям собственное выживание, но это не является необходимым признаком искусственных акторов. Некоторые из них могут быть сконструированы и без стремления выжить. Тем не менее многие агенты, напрямую не заинтересованные в сохранении своей жизни, могут быть, при широком диапазоне условий, заинтересованы в этом косвенно - для достижения поставленной цели.

Добывание ресурсов является еще одной важной инструментальной целью по тем же причинам, что и стремление к технологическому совершенству. Технологии и наличие ресурсов в равной степени способствуют достижению конечных целей, во время которых необходимо использовать физические ресурсы по конкретной схеме. Для создания гигантского мраморного памятника или невероятно счастливой межгалактической цивилизации требуется одно и то же - ресурсы и технологии.

Человеческое существование предполагает тенденцию к поиску ресурсов для удовлетворения базовых биологических потребностей. Однако люди склонны далеко выходить за пределы минимума. Это желание отчасти может быть вызвано стремлением к незначительным биологическим удобствам (таким, как жилье с более хорошим регулированием температуры или более комфортной мебелью). Гигантский процесс накопления ресурсов зависит от социального взаимодействия: обретения статуса, коллег, друзей и влияния с помощью улучшения благополучия и показных трат. Гораздо реже люди ищут дополнительные ресурсы для обеспечения альтруистических амбиций или каких-либо внесоциальных целей.

На этом основании было бы заманчиво предположить, что суперинтеллект, не столкнувшийся с миром конкуренции, не найдет инструментальных причин для накопления ресурсов за пределами некоторого необходимого уровня (например, компьютерных ресурсов, требующихся для работы его разума наряду с некоторой виртуальной реальностью). И все же такая гипотеза была бы полностью необоснованной.

Во-первых, себестоимость ресурсов зависит от действий, во время которых они могут применяться, а это, в свою очередь, зависит от уровня имеющихся технологий. В полной мере развитая технология позволит использовать для достижения практически любых целей основные ресурсы - время, пространство, материю и свободную энергию.

Во-вторых, в соответствии с положением об ортогональности мы не можем беспечно считать, что сверхинтеллект разделит хотя бы одно из значений, стереотипно ассоциирующихся у человека со свободой и интеллектуальным развитием, - научную любознательность, доброжелательную заботу о других, духовное просветление и созерцание, отказ от стяжательства, вкус к высокой культуре или к простым удовольствиям, смиренность, самоотверженность и так далее.

Сверхинтеллект способен формировать будущее жизни, зародившейся на Земле, может быть полностью лишен человеческих устремлений и, вероятно, будет обладать инструментальными причинами для безграничного захвата ресурсов

Позднее мы поймем, что легче, - намеренно попытаться сконструировать сверхинтеллект, способный ценить подобные качества, или же создать искусственный разум, способный ценить человеческое благополучие, моральное совершенство или другие сложные цели, которым он будет запрограммирован служить. Не менее реально - и технически гораздо проще - построить ИИ, чья главнейшая цель - вычисление числа пи. Это говорит о том, что интеллект первого вида, при отсутствии специальных усилий, возможно, будет иметь случайную или редукционистскую конечную цель.

В-третьих, тезис об инструментальной конвергенции предполагает, что человек не должен беззаботно считать, будто искусственный разум, чья конечная цель - подсчет пи или песчинок на пляже, будет ограничивать свои действия так, чтобы не ущемлять человеческие интересы. У агента с подобной целью во множестве ситуаций была бы конвергентная инструментальная причина для аккумуляции неограниченного количества физических ресурсов и устранения потенциальной угрозы своему существованию и собственной системе целей. Человечество не только может являть собой потенциальную угрозу, но еще и представляет из себя материальный ресурс.

В совокупности все три момента показывают, что сверхинтеллект потенциально способен формировать будущее жизни, зародившейся на Земле, может быть полностью лишен человеческих устремлений и, вероятно, будет обладать инструментальными причинами для безграничного захвата ресурсов. И если подумать о том, что человечество само по себе может быть полезным ресурсом (например, удачной комбинацией атомов), а для существования и процветания ему необходимы прочие локальные ресурсы, то можно без труда представить итог, при котором его история очень быстро оборвется.