Приложение
1п. Вывод формулы К. Шеннона для энтропии
Если принять аксиому о существовании в природе вероятностных явлений (о точках бифуркации), то легко выводятся формулы, связанные с естественным процессом нарастания энтропии. Это, конечно, формула Шеннона (в теории информации). Выведем ее, исходя из самых общих предпосылок, следуя известной идее, изложенной в [1П, и др.]. Эти предпосылки несколько отличаются от принятых К. Шенноном для информационной энтропии, но сущность вывода при этом не меняется.
Сделаем три исходные предпосылки:
– энтропия должна быть функцией вероятностей любого из возможных состояний системы и их числа (n);
– значение энтропии не должно зависеть от способа постановки задачи, физической сущности системы и языка описания.
– все состояния системы полностью определенны, дискретны.
Рассмотрим сначала систему, у которой все вероятности переходов из состояния в состояние одинаковы, (точки бифуркации идут подряд) и сделаем еще две предпосылки:
– энтропия (Sp), в этом случае, должна быть монотонной функцией числа возможных состояний системы;
– энтропия должна обладать свойством аддитивности.
Все пять предпосылок достаточно очевидны и не нуждаются в дополнительных комментариях.
Так как вероятности переходов приняты одинаковыми, то энтропия будет зависеть только от числа возможных состояний. Предположим, в течение некоторого времени система переходила из одного состояния в другое m раз. Если обозначить число возможных состояний при каждом переходе через N и иметь в виду первую и пятую предпосылки, то получим,
очевидно, n=Nm (n – число всех возможных состояний системы) и
Приравняем правые части этих выражений
Теперь продифференцируем это выражение по m и по n
Основание логарифма – a принято произвольным.
Исключим сложную производную из двух последних формул
Учитывая уравнения (2А) и (3А) линейной зависимости Sp от m и упрощая выражение (7А), получим дифференциальное уравнение
После разделения переменных и интегрирования, имеем
где ln k – произвольная постоянная интегрирования. Отсюда
Так как вероятности переходов приняты одинаковыми, то вероятность каждого i-го состояния равна Pi=1/n и
Обобщим теперь эту формулу на произвольные вероятности переходов.
Представим себе последовательность переходов с, каждый раз, разным числом возможных равновероятных состояний. При каждом отдельном переходе значение Sp дает меру неопределенности всех возможных состояний системы или, в терминах теории вероятностей, общую неопределенность опыта. Но каждый отдельный исход опыта (одно из возможных состояний) имеет вероятность Pi, и, следовательно, вносит долю неопределенности Pi Sp. Суммируя теперь эту величину по всем возможным состояниям, получим формулу Шеннона
где n – число возможных состояний системы, а Pi – вероятность каждого из них, k и a – произвольные постоянные.
Анализ этой формулы показывает, что рост энтропии максимален при равной вероятности возможных состояний; при увеличении n энтропия растет.
При выводе формулы мы не вводили ограничений на обмен энергией между системой и окружающей средой. Следовательно, энтропия всегда и естественно растет в любых материальных системах.
2п. Пример расчета энтропии
Расчет проведем для рис. 1. Для удобства он и формула повторены ниже. Примем произвольные постоянные в формуле. Как обычно, в кибернетике k=1, a=2. Тогда формула будет выглядеть так
Считаем, состояние В осуществилось с вероятностью равной единице, т.е. это достоверное событие. Тогда энтропия нашей системы в этом состоянии равна нулю, так как логарифм от единицы равен нулю. Вероятности Р1 и Р2 примем одинаковыми и равными 0,5. Так как возможных состояния только два то N=2. Вычисляем сумму. S= – (Р1log2 Р1+ Р2log2 Р2) = – (0.5(-1)+0.5(-1))=1. Энтропия увеличилась. Так что вероятность состояния С2, в которое перешла система, равна 0,5, и её придется учитывать при дальнейшем развитии событий. Назначим вероятности перехода в состояния D. Р3 = 0,4; Р4 = 0,3; Р5 = 0,3. В сумме должна быть единица. Тогда вероятности событий D вычисляются перемножением вероятности состояния С2 на назначенные вероятности переходов. Имеем для состояния D1 вероятность 0,4?0,5 =0,2; для состояний D2 и D3 – 0,15. Теперь энтропия определится так: S= – (0,2log2 0,2+ 0,15log2 0,15++ 0,15log2 0,15)=1,285. Логарифм по основанию два легко переводится в десятичный или натуральный алгоритм.
Видно, что энтропия нарастает. И этому нет альтернативы при вероятностной картине событий.
Литература к этому приложению
Tribus M. Thermostatics and Thermodinamics, D. Van Nostrand Company, Princeton, New Jersey, 1976.