5.3. Теорема преподобного Байеса

[Беркли] утверждает, что Логика и Метафизика откроют математикам глаза и выведут их из всех затруднений… Но если склоки среди профессоров любой науки позорят саму науку, а Логика и Метафизика намного более склочны, нежели математика, то почему же, раз я наполовину слеп, я должен выбирать себе в проводники того, кто вообще ничего не видит?

Преподобный Томас Байес. В защиту математиков…

В 2002 году исполнилось 300 лет со дня рождения провинциального английского священника Томаса Байеса. Это был человек, вне всяких сомнений обладавший выдающимся математическим дарованием, однако никогда не искавший славы и не публиковавший своих научных работ. Тем не менее, ныне Байес является одной из весьма почитаемых фигур в современной компьютерной индустрии. В особенности же это относится к разработчикам программного обеспечения, которые, по слухам, заблаговременно подготовились к достойному празднованию грядущего юбилея математика, заложившего фундамент мощного статистического метода, именуемого сейчас «байесовой оценкой».

Томас Байес родился в 1702 году в Лондоне, в семье одного из первых шести пресвитерианских священников Англии. По существовавшим среди кальвинистов правилам, как сын духовного лица Байес получил сугубо домашнее образование, рано проявил очень большие способности к математике, однако пошел по стопам отца и в 1720-е годы стал священником пресвитерианского прихода в городке Танбридж Уэллс, что примерно в 50 километрах от Лондона. На духовной службе Байес оставался здесь вплоть до 1752 года, после отставки продолжал жить в Танбридж Уэллсе, здесь же и закончил свою жизнь еще 9 лет спустя, 17 апреля 1761 года.

Среди современных ему английских ученых Байес был человеком весьма известным и в 1742 году был избран «в академики» (как сказали бы сейчас), т. е. в члены Лондонского Королевского общества, даже несмотря на тот факт, что священником не было опубликовано ни одной работы по математике. Более того, при жизни Байеса под его именем не вышло, строго говоря, вообще ни одной научной работы.

Единственная работа отца Байеса, опубликованная им под своим именем (в 1731 году), носила сугубо теологический характер и имела характерное для той эпохи предлинное название «Благость господня, или попытка доказать, что конечной целью божественного провидения и направления является счастье его созданий».

Помимо же этого, в 1736 году Байесом анонимно была опубликована статья «Введение в теорию флюксий или В защиту математиков от нападок автора The Analyst (Комментатора)». Здесь Байес защищал ньютоновскую теорию дифференциального исчисления от атаки Джорджа Беркли (несколько позже получившего сан епископа в Клойне), пытавшегося с метафизических позиций раскритиковать «неправильные», на его взгляд, логические основания мощнейшей математической теории.

Что же касается фундаментального исследования Байеса в области теории вероятностей, то оно было изложено им в «Эссе о решении проблем в теории случайных событий». Эту работу математика лишь после его смерти обнаружил друг Ричард Прайс, который и переслал статью в академию. В 1764 году это «Эссе» было опубликовано в «Трудах Лондонского Королевского общества», откуда и берет начало его мировая слава.

Теорема Байеса, имеющая ныне сильнейшее влияние на разработки компаний, создающих программное обеспечение, имеет дело с расчетом вероятности верности гипотезы в условиях, когда на основе наблюдений известна лишь некоторая частичная информация о событиях. Другими словами, по формуле Байеса можно более точно пересчитывать вероятность, беря в учет как ранее известную информацию, так и данные новых наблюдений. Главная, видимо, особенность теоремы Байеса в том, что для ее практического применения обычно требуется огромное количество вычислений-пересчетов, а потому расцвет методов байесовых оценок пришелся аккурат на революцию в компьютерных и сетевых инфотехнологиях. Конечно, эффективные методы статистических оценок интенсивно применяли и ранее, особенно военные в каких-нибудь экспертных или криптоаналитических системах, но понастоящему широкая популярность и даже «мода на Байеса» пришли в 1990-е годы.

Пионером здесь стала британская интернет-компания Autonomy, для интеллектуального поиска информации созданная математиком (и ныне миллиардером) Майком Линчем. Программное обеспечение Autonomy, построенное на базе байесовых оценок, позволяет компьютерам «понимать» содержание неструктурированной информации, такой как текстовые участки веб-страниц или электронная почта.

Например, с помощью байесовского аппарата по контексту достаточно элементарно подбирается нужная информация о реке Амазонке, а не о мифических племенах воинственных женщин или об онлайновом супермагазине с тем же названием Amazon.

Просто по той причине, что контекст документа будет включать упоминания о джунглях, деревьях и Южной Америке.

Лежащая в основе Autonomy технология DRE (Dynamic Reasoning Engine) по сути дела сводит воедино вероятностные методы Томаса Байеса и труды Клода Шеннона по теории информации. Формулы Байеса связаны с вычислением вероятностных связей между многими переменными и определением их взаимовлияния. Используя эту технику и компьютерные мощности, удается выявлять связи между различными элементами информации. Поняв основной смысл текста (или другого информационного носителя), система Autonomy приступает к следующему шагу и использует теорию Шеннона, согласно которой чем менее часто встречается информация, тем она более информативна.

Майк Линч с редкостным апломбом любит заявлять, что «лишь 10 человек в мире знают, как все это [байесовы оценки] применять, причем треть таких людей работает на меня». Вряд ли стоит воспринимать слова математика-предпринимателя всерьез, скорее это так – работа на публику и раздувание щек, что называется, бизнеса ради. Байесовский математический аппарат разработан сейчас весьма мощно, и технологии на его основе применяются во множестве других компаний.

Например, корпорация Oracle использует теорию Байеса в своем новом ПО для баз данных, где с ее помощью выявляются характерные тенденции в сложных массивах данных, а также вносится столь популярная ныне «персонализация» в маркетинговые кампании. В корпорации Microsoft этот же статистический аппарат заложен в программы выявления неполадок в новой ОС WinXP, а еще ранее – был использован при создании для пакета MS Office столь доставшего всех своими ненужными советами «мистера Скрепки» (Mr Clippy). Этого надоедливого мультяшного субъекта, как известно, впоследствии задвинули подальше, дабы не раздражать без нужды клиентов. Впрочем, научному авторитету Томаса Байеса суетливый «Скрепыш» вряд ли нанес хоть какой-то урон.

И уж коли речь зашла о дискредитации ученого, то, быть может, наихудшую услугу ему оказывают разухабистые пиаровские тексты компании Autonomy, вещающие об «эксцентричном англичанине Томасе Байесе, который с одинаковым успехом занимался как доказательством существования бога, так и разработкой наиболее эффективных алгоритмов для игры в кости». По свидетельству историков, подобные заявления, мягко говоря, не соответствуют известным фактам из жизни этого человека.

Что же известно, так это на редкость мудрый подход Байеса к эффективности точных наук и к возможности их гармоничного сочетания с глубоким религиозным чувством.

5.4. «Мне просто было интересно, как это устроено…»

24 февраля 2001 г. покинул наш мир Клод Шеннон, один из выдающихся умов XX столетия, «отец» теории информации и научной криптографии. Фундаментальные идеи и теории Шеннона появились на свет более полувека назад, однако и поныне они остаются не менее современными и важными, чем в годы своего зарождения. Более того, можно говорить, что лишь нынешняя эпоха высокоскоростных цифровых коммуникаций позволяет в полной мере оценить гигантский вклад этого ученого, вследствие ряда личных качеств названного одним из соратников «самым неизвестным среди великих математиков».

Клод Элвуд Шеннон родился в городке Питоски, штат Мичиган, 30 апреля 1916 года.

Благодаря влияниям отца-радиолюбителя и старшей сестры, всю жизнь посвятившей математике, весьма рано проявилось и дарование Клода, крайне удачно сочетавшее в себе технический талант инженера-электронщика и выдающиеся теоретические способности к глубокому математическому анализу проблем. В 1936 году Шеннон закончил Мичиганский университет с бакалаврскими степенями в математике и электронной технике. Еще через 4 года он закрепил свое «обоюдоострое» образование в стенах Массачусетсского технологического института, в 1940-м защитив здесь магистерскую диссертацию по электротехнике и докторскую по математике.

Уже магистерская диссертация Шеннона «Символический анализ релейных и переключающих схем» стала без преувеличения новым словом в науке. В эпоху аналоговых радиоэлектронных устройств и счетно-решающих машин на шестеренках и валиках Шеннон по сути дела разработал теоретическое обоснование электронным цифровым схемам. Ныне такие схемы лежат в основе функционирования практически всех современных компьютерных и коммуникационных систем. Суть новаторского подхода, предложенного в диссертации, заключалась в том, чтобы работу переключателей и реле в электрических схемах анализировать на базе аппарата булевой алгебры – достаточно абстрактной по тем временам технике математической логики, созданной в середине XIX века английским математиком Джорджем Булем.

Впоследствии Шеннон следующим образом пояснял причину своего выдающегося открытия: «Просто случилось так, что никто другой не был знаком с обеими этими областями одновременно»…

Время тогда было известно какое, и в 1941 году Шеннон начал работу в математическом отделении научно-исследовательского центра Bell Laboratories, сосредоточенного по-преимуществу на проблемах военных коммуникационных систем и криптографии. Напряженная работа в этой области за годы войны дала богатейшие плоды в мирное время. В 1948 году Шеннон публикует свой эпохальный труд «Математическая теория связи», оригинал которого можно найти на веб-сайте Bell Labs37. Цель перед работой ставилась сугубо практическая – как можно было бы улучшить передачу информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. При решении же этой задачи у Шеннона родилась поистине революционная работа, положившая начало целой науке под названием «теория информации».

Безусловный интерес представляет то, как ученый переформулировал цель исследования: «Фундаментальная проблема связи состоит в том, чтобы на одном конце в точности или приблизительно воспроизвести сообщение, которое избрали для передачи на другом конце». Для строгого математического описания и решения проблемы в такой формулировке Шеннон разработал теоретический фундамент столь тщательным образом, что введенные им конструкции и терминология остаются стандартом и по сию пору.

Достаточно быстро Шенноном был сделан вывод, что наилучшим решением проблемы стало бы более эффективное кодирование или «упаковка» информации. Однако для начала требовалось строго определить, что это собственно такое – «информация» – и чем измерять ее количество. Имея за плечами аппарат двоичной логики, за единицу информации Шеннон принял то, что впоследствии окрестили бинарной цифрой или просто «битом», другими словами, выбор одного из двух равновероятных вариантов.

Что же касается количества информации, то ее Шеннон определил через энтропию – математическую меру, в термодинамике и статистической физике применяемую для характеристики степени хаотичности (разупорядоченности) систем. Как гласит предание, пошедшее из уст самого автора, использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман. Со своеобразным чувством юмора, свойственным этим людям, фон Нейман обосновал свой совет тем, что в среде математиков и инженеров мало кто знает об энтропии, а посему Шеннон получит огромное преимущество в неизбежных грядущих спорах вокруг новой теории. Однако вопреки ожиданиям, новаторской теории Шеннона был сужден мгновенный и широчайший успех среди инженеров, занимающихся системами связи. Она породила огромное количество исследовательских работ и стала мощным стимулом к развитию всех тех технологий, что в конечном счете привели к сегодняшнему «веку информации».

Другая эпохальная работа Клода Шеннона, вышедшая практически одновременно с «теорией информации», по ряду причин не получила такого же широкого резонанса, поскольку явно опережала свое время сразу на несколько десятилетий. Речь идет, конечно же, об опубликованной в 1949 году статье «Теория связи в системах засекречивания»38 (Communication Theory of Secrecy Systems). На самом деле данная статья представляла собой несколько переработанный отчет, подготовленный Шенноном еще в 1945 году. То, что эта работа была рассекречена и опубликована в открытой печати – уже само по себе маленькое чудо, рационально объяснить которое можно лишь тем, что уровень абстрагирования явно показался принимающим решения инстанциям чересчур далеким от практики. Ну а то, что значит этот труд для современной криптологии, можно проиллюстрировать лишь одним примером. Всю историю криптографии от античности до наших дней принято делить на два периода: до 1949 года, когда «тайнопись» считали шаманством, оккультизмом и родом искусства; и после 1949 года, когда криптология стала полноценной прикладной наукой со строгой математической теорией в фундаменте.

За Клодом Шенноном всегда ходила слава весьма разнообразно одаренного человека.

Во многом он напоминал «универсальных людей» эпохи Возрождения, причем порою отличался весьма эксцентричным поведением. Одной из наиболее примечательных деталей его жизни непременно упоминают следующую – временами Шеннон любил разъезжать по коридорам Bell Labs на одноколесном велосипеде, да еще жонглируя при этом мячами.

Одним из первых Шеннон высказал мысль о том, что машины могут играть в игры и самообучаться.

В 50-е годы ученым был предпринят целый ряд интереснейших работ, связанных с системами искусственного интеллекта. Одним из первых Шеннон высказал мысль о том, что машины могут играть в игры и самообучаться. Эти идеи сразу стали находить практическое воплощение. Для решения задач поиска выхода из лабиринта Шеннон построил «умную электромеханическую мышку», получившую имя античного героя Тесея. Это устройство стало одной из самых ранних попыток «научить» машину самостоятельно обучаться и находить выход из запутанных коридоров. В честь шенноновского Тесея институтом IEEE впоследствии был учрежден международный конкурс изобретений «микромышь», в котором и поныне тысячами участвуют студенты технических вузов из разных стран мира.

В 1950 году, фактически на самой заре компьютерной эпохи, Клод Шеннон написал статью «Программирование компьютера для игры в шахматы», где сформулировал два типа стратегий, в конечном счете приводящих к машинам, играющим в шахматы на весьма приличном уровне. Для той поры подобная статья выглядела как чудачество ученого-фантазера, однако взгляд Шеннона был устремлен не на современных ему громоздких и неудобных в программировании монстров, а значительно дальше в будущее. Обосновывая важность создания компьютерного шахматиста, Шеннон писал так: «Проблема игры в шахматы жестко очерчена, как в терминах допустимых операций, так и в своей конечной цели. Она не настолько проста, чтобы быть тривиальной, но и не слишком сложна для отыскания удовлетворительных решений».

Для наглядного пояснения этих мыслей можно сказать, что постоянно изменяющаяся сложность шахматной доски – это, к примеру, проблема работы авиадиспетчера в миниатюре. Поэтому на протяжении последнего полувека шахматы для компьютерных ученых являются как бы лабораторным полигоном, на котором обкатываются самые разнообразные технологии систем искусственного интеллекта. И ныне, когда общедоступные шахматные программы вроде Fritz или Junior, работающие на обычном персональном компьютере, уже вполне способны наносить в турнирах поражение чемпионам мира, особо важно подчеркнуть, что в основе всех современных шахматных программ по-прежнему лежат шенноновские стратегии «типа A и B».

В те же 50-е годы Шеннон создал любопытную «машину, способную читать мысли».

Говоря точнее, коллега Шеннона Дэйв Хэйглбергер построил аппарат, который в опытах с подбрасыванием монеты предсказывал, что будет выбирать человек – «орла» или «решку». Эта машина явно предсказывала выбор с вероятностью, большей 50%.

Так, в эксперименте с 9795 бросками машина 5218 раз сделала правильное предсказание выбора человека. Идея «чтения мыслей» состояла в том, что человек не способен генерировать «чисто случайные» последовательности, невольно подстраиваясь под результаты предыдущих испытаний. Логика обычно примерно такова: "вот выпало три подряд «решки», значит, теперь-то уж точно выпадет «орел». Основываясь на этой логике Хэйглбергер и разработал ряд несложных алгоритмов предсказания. Шеннона эта задача тоже заинтересовала и он построил собственную машину для чтения мыслей, выставив ее на соревнование с хэйглбергеровской. В конечном итоге машина Шеннона выиграла, правда, с минимальным преимуществом.

А в 1956 году Шеннону исполнилось 40 лет, и, как стало очевидным несколько позже, рубеж этот стал в его жизни переломным. По каким-то труднообъяснимым причинам ученому, находившемуся, казалось бы, в зените карьеры и творческих сил, наскучила исследовательская работа в Bell Labs, и он решает заняться преподаванием. С 56-го года Шеннон начинает работать в МТИ в качестве приглашенного профессора, а в 1958-м становится там постоянным преподавателем.

Последующие 20 лет в МТИ показали, что Шеннону явно стало «неинтересно» заниматься областями, где он достиг столь впечатляющих высот. Зато в эти годы и особенно после ухода в 1978 году на пенсию ученый полностью отдался своей давней страсти – жонглированию. Шенноном было построено несколько жонглирующих машин и даже была создана «общая теория жонглирования». Его постоянно и бесконечно притягивала эта завораживающая игра из непрекращающейся ловли и подбрасывания падающих предметов, формирующих в воздухе причудливые динамические фигуры.

И кто знает, быть может суть этого увлечения и истинный смысл «теории жонглирования» Шеннона человечеству еще только предстоит постичь в будущем. Ведь и очень многие прежние его работы расценивались современниками как блажь и эксцентричное чудачество. Причем и от самого Шеннона неоднократно можно было услышать, что мотивацией его деятельности в значительно большей степени всегда руководило любопытство, нежели «практическая полезность»: «Я всегда следовал своим интересам, не думая ни о том, во что они для меня выльются, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи… Мне просто было интересно, как эти вещи устроены».

В сущности, можно говорить, что научную работу Шеннон обращал в забаву. Но в результате этих забав рождались воистину гениальные открытия.