30. Зашифрованная карта

Для существ, живущих в океане Европы, окружающий мир скрыт ледяным панцирем. Однако, они смогли реконструировать ближайшую к ним часть Вселенной с помощью прецизионных измерений, воспользовавшись этим самым панцирем, его небольшими движениями. Для нас Вселенная в своем самом раннем возрасте закрыта непрозрачной плазмой. Но и для нас есть способ проникнуть дальше: воспользоваться прецизионными измерениями температуры этой самой плазмы, ее ничтожными вариациями. И метод проникновения основан на том же самом приеме — гармоническом анализе. И в том, и в другом случае природа, поставив препятствие, оставила для существ, обладающих достаточно высоким интеллектом и владеющих научной методологией, возможность узнать, что находится за ним. В нашем случае природа расщедрилась даже больше: изучая препятствие, мы способны лучше изучить то, что находится перед ним, — современную Вселенную.

Напомним, что дошедшее до нас излучение плазмы ранней Вселенной называется реликтовым. Рассказывая о нем, мы упомянули начало 1990-х годов, когда впервые были обнаружены неоднородности реликтового излучения, и остановились на конце 1990-х, когда эксперимент BOOMERanG

Рис. 30.1. Космический телескоп WMAP (NASA) и другие позволили тщательно изучить мелкомасштабные детали его карты.

Новая эпоха в космологии наступила с запуском космического микроволнового телескопа WMAP (Wilkinson Microwave Anisotropy Probe). Этот аппарат NASA превосходил своего предшественника СОВЕ в 45 раз по чувствительности и в 30 раз по угловому разрешению. При этом затраты на его создание составили смешные 150 млн долларов (столько же стоит километр с небольшим олимпийской дороги Адлер — Красная Поляна). Видимо, это не весь бюджет миссии, но порядок величины понятен. Космический аппарат был выведен в 2001 году на орбиту вокруг Солнца — за Землей в полутора миллионах километров, в лагранжевой точке L2. Изначально планировалось, что WMAP будет вести наблюдения два года, но как это было со многими другими инструментами NASA, он в несколько раз превысил плановый срок жизни, проработав 9 лет.

Рис. 30.2. Карта реликтового излучения, снятая WMAP за 9 лет наблюдений

На рис. 30.2 — карта неба, где цвет отражает неоднородности реликтового излучения. Исходная карта выглядит иначе: на приведенной карте сигнал очищен от галактического фона и фона отдельных внегалактических источников. На карте также вычтена средняя температура и дипольная компонента, поскольку ее происхождение тривиально: это аберрация из-за движения Земли с Солнцем и Галактикой относительно системы отсчета, связанной с реликтовым излучением (она же — усредненная система покоя вещества во Вселенной в данной точке). Напомним, реальный контраст пятнистости на этой карте всего лишь 10-5 или чуть больше, в зависимости от размера пятен.

Карта совершенно хаотична. Кажется, что из нее нельзя извлечь ничего интересного. Более того, есть очень серьезный довод за то, что на этой карте в принципе ничего не может быть «изображено» в прямом смысле слова. Этот довод называется свойством гауссово-сти: карта есть наложение случайных пятен разного размера, ничего не знающих друг о друге.

Впрочем, находятся и те, кто видит на этой карте аномалии или необычные особенности, подтверждающие ту или иную теорию. Например, концентрические кольца: они должны появляться в весьма специфической космологической теории Роджера Пенроуза. Или аномально холодное пятно. Или так называемую «ось зла». При этом приводятся оценки уровня достоверности, например «три девятки». На самом деле эти аномалии не более убедительны, чем профиль человеческого лица в узоре сучков и волокон доски, фигура крокодила в облаках или сфинкса на снимке марсианской поверхности. Всегда в достаточно богатом наборе данных можно обнаружить интересную особенность, подобную перечисленным выше, просто потому, что данные предоставляют обширное поле для поиска чего-либо. И значимость в три девятки не залежится, особенно, если «подкрутить» какие-нибудь пороги обрезания при статистическом анализе -тут и четыре девятки легко добываются на пустом месте. Поиск подобных «интересных эффектов» — профессиональная болезнь многих исследователей, автор и сам попадался в эту ловушку на заре своей научной деятельности. В общем, никаких аномалий, представляющих серьезный повод для разбирательства, на этой карте нет. По этому поводу команда WMAP опубликовала специальную статью.

Однако, остается поле для курьезов и шуток. Например, на карте проступают инициалы Стивена Хокинга, буквы SH. Правда, буквы кривоваты, зато достаточно велики. По поводу концентрических колец. Они были найдены на карте определенным алгоритмом поиска — искали везде, заранее не зная размера. Используя подобный метод поиска «эффектов», в богатом статистическом материале всегда можно найти впечатляющий «сигнал». Проблема в том, что довольно сложно оценить вероятность случайного появления подобного «сигнала» в большом массиве данных. Авторы зачастую игнорируют этот ключевой и сложный этап работы, провозглашая эффект в четыре или пять стандартных отклонений, что впоследствии оборачивается подмоченной репутацией.

К первому апреля 2011 года в архиве электронных препринтов вышла статья «Нестандартные космологические реликтовые паттерны в космическом микроволновом фоне» (arXiv:1103.6262), в которой авторы издеваются над поисками «паттернов» в реликтовом излучении, проверяя карту на корреляции с символами ?, ?, ликом Христа на Туринской плащанице и еще парой картинок. И, конечно, они находят значимую корреляцию. Чтобы не мелочиться, они оценивают значимость корреляции в ? ?. Этот е-принт мог бы по праву войти в сборник «Физики шутят». Кстати, там четыре автора, фамилии всех начинаются на «Z» (Zuntz, Zibin Zunkel, and Zwart) и все — реальные ученые из сильнейших научных центров! Можно предложить читателю в качестве домашнего задания оценить вероятность случайного возникновения такого авторского коллектива. После этой публикации разговоры о кольцах Пенроуза стихли.

Кстати, это не единственная первоапрельская статья данного авторского коллектива. Подбор авторов становится ясен из их предыдущей первоапрельской статьи. Годом раньше они (за исключением J. Zibin, вместо которого фигурировал Т. Zlosnik) выпустили препринт «Орфографические корреляции в астрофизике» (arXiv:1003.6064v1), где исследуется зависимость числа цитирований от первой буквы фамилии автора. По ходу авторы издеваются над некоторыми методологическими приемами, использовавшимися в статьях, написанных на полном серьезе. Вообще, первоапрельские розыгрыши и прочие шутки, видимо, имеют в науке огромное значение, поскольку положительно коррелируют с научным уровнем сообщества. Автор не проверял эту корреляцию на конкретном статистическом материале, но она видна и невооруженным глазом, ее значимость никак не меньше оценки, приведенной выше, — ? ? (см. врезку «Что такое сигма…»).

Однако шутки в сторону! На самом деле карта неоднородностей реликтового излучения — кладезь важнейшей информации. В ней зашифрованы ключевые сведения о Вселенной — карта говорит о ней как о целом больше, чем наблюдения далеких галактик и квазаров. По мнению автора, суммарное научное значение результатов WMAP превосходит значение открытия бозона Хиггса. Просто эти результаты оказались растянутыми во времени. Как же расшифровать карту? Для ответа полезно совершить очередной экскурс в прошлое.

Что такое сигма и статистическая значимость

Наверно каждому, кто хоть сколько-нибудь интересуется наукой, приходится время от времени слышать нечто подобное: «Модель противоречит данным на уровне два сигма», «Открытие бозона Хиггса будет официально признано, когда уровень значимости достигнет пяти сигма», «Заявки на доклады о три-сигма-эффектах не рассматриваются» и т.д.

Вездесущая сигма — всего лишь параметр, задающий ширину распределения Гаусса, традиционно обозначаемый как ?. Это жаргон. Официальный термин -стандартное отклонение, но это тот случай, когда жаргон сильно потеснил изначальный термин не только в устной речи, но и в научных статьях. Собственно, вот так выглядит распределение Гаусса, нормированное на единицу:

f(x) = 1/(??2?·е^(x-x0)/2?2)

«Нормированное на единицу» означает, что при таком коэффициенте перед экспонентой площадь под кривой равна единице. Распределение Гаусса крайне важно в статистике по простой причине: сумма многих случайных величин описывается распределением Гаусса (для простоты пользуемся вульгарным языком, пусть даже рискуя навлечь на себя гнев математиков). Например, распределение числа выпадений орла при 100 бросаниях монеты близко к распределению Гаусса со средним х0 = 50 и ? = ?50). На самом деле это будет так называемое биноминальное распределение, но при числе выпадений 50 оно достаточно близко к распределению Гаусса и обычно считается таковым при обработке данных.

Сходимость суммы многих распределений к распределению Гаусса декларируется так называемой центральной предельной теоремой. Именно поэтому распределение Гаусса столь важно в статистике. Настолько важно, что его называют нормальным распределением, а параметр ширины — стандартным отклонением. Если ошибки измерений описываются нормальным распределением, то с данными работать легко — есть простые способы оценок, насколько та или иная гипотеза описывает эти данные, каковы ошибки в параметрах гипотезы, которой мы пытаемся описать данные. Если ошибки не описываются нормальным распределением, то на это часто закрывают глаза, что обычно сходите рук, но не всегда.

Теперь важная таблица, поясняющая смысл употребления жаргона «сигма» в самых разных контекстах. Сверху — отклонение от центра распределения хо в единицах ?, снизу — вероятность того, что случайная величина выйдет за этот предел (в любую сторону).

? | 1 | 2 | 3 | 4 | 5

- | 0,32 | 0,045 | 0,0027 | 0,63·10-4 | 0.57·10-6

Если какая то экспериментальная точка отклонилась от теоретической кривой, скажем, на 2?, то нет оснований придавать этому особого значения. Вероятность такого отклонения 1/20, и если точек много, то какая-нибудь с большой вероятностью вылезет за такой предел. Если точка отклонилась на З?, здесь уже есть предмет для разбирательства, а если за 4? и больше -можно сделать вывод, что что-то не так. Может быть, измерение неверное, а может быть теоретическая кривая неверна. И самое интересное: нет ли здесь какого-нибудь дополнительного эффекта, например спектральной линии, если точки описывают спектр. Здесь мы подходим к понятию статистической значимости.

Если мы знаем, что в данном месте спектра, например, квазара может быть рентгеновская линия железа, и видим, что соответствующая точка «отпрыгнула» вверх на 4?, мы вправе сказать: «Данные подтверждают существование линии излучения… на уровне статистической значимости 4?». Возможные эквиваленты: «…на уровне статистической значимости 0,6·10-4» или «…на уровне достоверности 0,9999». Если мы заранее знаем, что именно здесь может быть линия излучения железа, и, действительно, видим «отпрыгнувшую» точку, то 4? — приличный уровень значимости, и можно смело публиковать результат.

Определение статистической значимости может быть и не связано с распределением Гаусса и числом стандартных отклонений. Допустим, мы пытаемся показать, что данные говорят о наличии какого-то эффекта. Как надо поступать в общем случае? Допустим, эффекта нет. Значит, нам надо принять некую нулевую гипотезу, как должны выглядеть данные при отсутствии эффекта. В примере со спектром это некая гладкая функция без линий. Статистическую значимость можно определить как вероятность того, что данные в результате случая отклоняются от нулевой гипотезы так, что имитируют эффект, каким мы его видим в данных. Вероятность зависит от нулевой гипотезы и гипотезы эффекта, поэтому правильное говорить о статистической значимости такого-то эффекта относительно такой-то нулевой гипотезы.

В примере со спектром это просто вероятность того, что точка в том месте, где должна быть линия, случайно «отпрыгнула» вверх не меньше, чем на столько-то сигма. В общем случае любым посильным способом вычисляем вероятность случайной имитации эффекта. Неважно, как вычисляем, допустим, с помощью прямого численного моделирования методом Монте-Карло. Предположим, что эта вероятность получилась около 10-4 . Потом добавляем к гипотезе искомый эффект. Если при этом гипотеза (уже не нулевая) стала описывать данные хорошо, мы вправе сказать, что данные подтверждают эффект на уровне статистической значимости 10-4. Чем меньше вероятность, тем выше статистическая значимость. Как это часто делают, можно перевести вероятность в термины сигма, используя таблицу, приведенную выше.

Допустим, мы обнаружили в данных указание на некий эффект значимостью 4?. Вероятность случайности, имитирующей этот эффект, очень мала. Следует ли из этого, что надо бить в барабан и немедленно публиковать статью? Это очень сильно зависит от того, что мы искали. Если мы искали известно что, заранее зная, в каком месте, то можно. Именно таков случай обнаружения известной спектральной линии. А если мы искали чего-нибудь, где-нибудь в большом массиве данных и наткнулись на некоторое отклонение значимостью 4?, то вполне возможно, что мы упорно искали и нашли случайный выброс на 4? и больше ничего. Таких случаев предостаточно. Даже в Nature иногда публикуют подобные «открытия». Обычно они быстро «рассасываются» и забываются. Но репутации страдают.

Проблема в том, что правильная оценка статистической значимости — не такое простое дело. Если мы нашли нечто значимостью 10-4 в 100 независимых попытках, то настоящая значимость 10-2, а это уже очень слабый результат. В реальной работе с данными этих «независимых попыток» бывает огромное количество, и исследователь часто этого не осознает, а если осознает, то не умеет правильно оценить их число (это число в биологии и гуманитарных науках называется «поправка Бонферони», а в физике «штрафным фактором»). Четких рецептов, как оценивать эту поправку, на все случаи жизни не существует — это скорее кухня, а не наука. Владение этой кухней и есть составляющая профессионализма исследователя.