От оракула до правителя

Став всезнающими оракулами, алгоритмы Google, Facebook и другие элементарно могут превратиться в посредников, а потом и в правителей[247]. Чтобы понять эту метаморфозу, посмотрим на Waze – навигационное приложение на основе GPS, которым пользуются многие водители. Waze – не просто карта. Миллионы пользователей непрерывно снабжают его информацией о пробках, автомобильных авариях и полицейских машинах и постах. Поэтому Waze знает, как направить вас в обход заторов к месту назначения кратчайшим из возможных маршрутов. Если при подъезде к перекрестку ваш инстинкт посылает вас вправо, а Waze рекомендует повернуть налево, то рано или поздно вы привыкаете следовать указаниям Waze и отвыкаете слушаться своих чувств[248]. На первый взгляд кажется, будто Waze играет лишь роль оракула. Вы задаете вопрос, оракул отвечает, но решение остается за вами. Однако, когда оракул полностью завоюет ваше доверие, то самым логичным следующим шагом будет – назначить его исполнителем. Достаточно назвать ему конечную цель, и он без вашего контроля сделает то, что нужно для ее достижения. С навигатором Waze это может случиться, если вы соедините его с беспилотным автомобилем и попросите: «Waze, выбери самый короткий путь», или «выбери дорогу поживописней», или «построй маршрут с минимальным расходом топлива». Командовать будете вы, но выполнять ваши команды будет Waze.

В результате следующего шага Waze из исполнителя может превратиться в правителя. Имея такие полномочия и зная гораздо больше, чем вы, он может начать манипулировать вами и другими водителями, формируя ваши желания и принимая за вас решения. Представьте, например, что Waze так хорошо себя зарекомендует, что им начнут пользоваться все. И представьте, что на шоссе № 1 образовалась пробка, в то время как шоссе № 2 сравнительно свободно. Если Waze оповестит об этом всех водителей, то все и устремятся на шоссе № 2, и движение там тоже остановится. Когда у всех один оракул и все верят этому одному оракулу, он становится правителем. Он будет думать за нас. Возможно, он уведомит лишь половину водителей, что шоссе № 2 свободно. Таким образом, и шоссе № 1 разгрузится, и шоссе № 2 не будет перегружено.

Microsof разрабатывает гораздо более сложную систему, названную Cortana в честь героини популярной серии видеоигр Halo. Cortana – это виртуальная голосовая помощница с элементами искусственного интеллекта, которую Microsof надеется интегрировать в будущие версии Windows. Пользователей будут подталкивать к тому, чтобы помощница была допущена ко всем файлам, имейлам и приложениям. Ознакомившись с ними, она сможет давать советы по миллиону вопросов и вообще сделаться виртуальным агентом, представляющим интересы пользователя. Cortana напомнит вам о приближении дня рождения жены, выберет ей подарок, зарезервирует столик в ресторане и за час до обеда подскажет вам, что пора принимать лекарство. Она предупредит вас, что если вы тотчас же не отложите книгу, то опоздаете на важную деловую встречу. Перед самой встречей Cortana сообщит, что у вас слишком высокое давление и слишком низкий уровень дофамина и что, как показывает статистика, при таких показателях вы склонны совершать серьезные деловые ошибки. Поэтому вам необходимо воздержаться от принятия решений и заключения сделок.

Не исключено, что Cortana и ее сородичи, превратившись из оракулов в агентов, начнут договариваться насчет своих хозяев напрямую, без их участия. Сначала моя Cortana всего лишь свяжется с вашей, чтобы согласовать место и время нашей с вами встречи. Потом потенциальный работодатель попросит меня не утруждать себя отправкой своего резюме, а просто разрешить, чтобы его Cortana пообщалась с моей. Или к моей Cortana обратится Cortana моей потенциальной возлюбленной, и они, сверив свои заметки и данные, станут решать, хорошая мы пара или нет, в то время как мы будем оставаться в абсолютном неведении.

Получив от людей определенные права, виртуальные помощницы могут начать интриговать друг против друга в интересах своих хозяев, так что успех на брачном рынке или рынке труда будет все больше зависеть от качества вашей Cortana. Богатые владельцы новейших версий будут иметь неоспоримое преимущество перед обычными людьми с их устаревшими версиями.

Однако самая темная зона – это личность хозяина голосовой помощницы Cortana. Как мы уже видели, люди – не индивидуумы, у них нет единого неделимого «я». Так чьим же интересам должна служить Cortana? Предположим, мое комментирующее «я» принимает новогоднее решение-обещание соблюдать диету и три раза в неделю посещать спортзал. Неделю спустя, когда приходит время отправляться в спортзал, переживающее «я» велит виртуальной помощнице включить телевизор и заказать пиццу. Как ей следует поступить? Подчиниться переживающему «я» или выполнить решение, принятое неделю назад комментирующим «я»?

Вы, пожалуй, спросите, так ли уж Cortana отличается от будильника, который заводит вечером комментирующее «я», чтобы переживающее «я» не опоздало утром на работу. Но Cortana получит над человеком куда большую власть, чем будильник. Переживающее «я» может заглушить будильник нажатием на кнопку. А Cortana изучит хозяина настолько хорошо, что будет точно знать, на какие внутренние кнопки нажимать, чтобы он следовал ее «советам».

Cortana не единственная в своем роде. Google Now и Siri – разработки Apple – движутся в том же направлении. На Amazon тоже работают алгоритмы, которые постоянно вас изучают и затем на основании накопленных данных рекомендуют вам ту или иную продукцию. Когда я захожу в реальный книжный магазин, то брожу между полками и выбираю подходящую книгу, руководствуясь своими чувствами. Когда я захожу в виртуальный магазин Amazon, меня тут же встречает алгоритм, сообщающий, что знает мои книжные предпочтения, и советующий книги, которые покупают люди с аналогичными вкусами.

И это только начало. В Соединенных Штатах сегодня значительная часть читателей предпочитает электронные книги бумажным. Такие устройства, как Amazon Kindle, собирают сведения о своих пользователях, пока те читают. Ваш Kindle, например, запоминает, какие части книги вы прочитываете быстро, а какие медленно; на какой странице вы сделали перерыв и на каком месте перестали читать и больше не возвращались. Если встроить в Kindle систему распознавания лиц и биометрические сенсоры, он будет знать, как каждое прочитанное предложение повлияло на ваши пульс и давление. Он будет знать, что вас рассмешило, что опечалило и что разозлило. Очень скоро книги будут читать вас, пока вы читаете их. И если вы быстро забываете большинство деталей прочитанного, то Amazon не забудет никогда и ничего. Такая осведомленность позволит ему подбирать для вас книги со снайперской точностью. Еще она позволит ему точно знать, кто вы и как вас включать и выключать[249].

Велика вероятность, что в конце концов настанет момент, когда мы не сможем отключиться от этих всезнающих сетей даже на мгновение. Отключение будет означать смерть. Если надежды медиков осуществятся, люди будут носить в своих телах массу биометрических устройств, бионических органов и нанороботов, призванных следить за нашим здоровьем и беречь нас от инфекций, болезней и повреждений. Однако этим устройствам придется быть онлайн в режиме 24/7, чтобы постоянно сверяться с последними медицинскими разработками и защищаться от новых угроз киберпространства. Вирусы, черви и трояны, без устали атакующие ваш домашний компьютер, не пощадят и ваш кардиостимулятор или слуховой аппарат. Если не обновлять регулярно свою антивирусную защиту, то в один прекрасный день можно обнаружить, что миллионы нанороботов, курсирующих по венам, уже под контролем какого-нибудь хакера.

Таким образом технологии XXI века могут подорвать гуманистическую революцию, лишив власти людей и наделив ею неорганические алгоритмы. Пусть те, кого ужасает подобная перспектива, не винят компьютерных гиков. На самом деле ответственность лежит на биологах. Важно понимать, что все это направление больше вдохновляется и подпитывается новыми биологическими знаниями, чем компьютерными науками. Именно биология пришла к заключению, что организмы суть алгоритмы. Если это не так – если функционирование организмов по существу отлично от функционирования алгоритмов, – значит, компьютеры могут творить чудеса в других областях, но им никогда не удастся нас понять и регламентировать нашу жизнь, а тем более слиться с нами. Но когда биологи заключили, что организмы – это алгоритмы, они сломали стену между органическим и неорганическим, превратили компьютерную революцию из чисто технического мероприятия в биологический катаклизм и передали права и полномочия отдельных личностей сетевым алгоритмам.

Некоторые люди пребывают в ужасе. Вместе с тем миллионы принимают происходящее с радостью. Уже сегодня многие из нас отказываются от своих конфиденциальности и индивидуальности, выставляя в интернете напоказ всю свою жизнь, записывая каждое свое действие и впадая в истерику, если связь на несколько минут прервалась. Переход прав от людей к алгоритмам совершается повсеместно, и не по постановлениям правительств, а в результате того выбора, который каждый день делают многие из нас.

Если мы не проявим осторожности, то можем получить оруэлловское полицейское государство, неустанно надзирающее не только за всеми нашими поступками, но и за тем, что происходит внутри наших тел и мозгов. Только представьте себе, какое применение вездесущим биометрическим сенсорам нашел бы Сталин – и, может, успеет найти Путин. Но в то время как защитники человеческой индивидуальности страшатся повторения кошмаров XX века и готовятся противостоять знакомому по Оруэллу врагу, ей грозит даже более серьезная опасность с противоположной стороны. В XXI веке личность скорее тихо разложится изнутри, чем будет разрушена усилиями извне.

Сегодня большинство корпораций и правительств выказывают заботу о моей индивидуальности и обещают лечить, учить и развлекать меня в соответствии с моими уникальными вкусами и потребностями. Но для этого корпорациям и правительствам сначала придется разложить меня на биохимические подсистемы, исследовать эти системы сверхчувствительными датчиками и дешифровать их работу при помощи мощных алгоритмов. В процессе выяснится, что личность – всего лишь религиозная фантазия. Реальностью окажется сеть биохимических и электронных алгоритмов без индивидуальных ядер и четких границ.