Энтропия. Теория информации
Если алфавит (уровень п = 0) содержит 30 букв (N0 = 30), а каждое «слово» искусственного текста состоит из 6 букв (К = 6), то общее число таких «слов» составит:
N1 = N0K1 = 306 = 729 ·106
Среди указанного количества «слов» большинство составят бессмысленные или даже непроизносимые «слова» (из 6-ти гласных, 6-ти согласных и т.п.).
Но если хотя бы 0,01% от общего числа буквенных комбинаций составят осмысленные слова, общий лексикон составит 72 900 слов.
Еще более прогрессивно возрастает число комбинаций с переходами на более высокие уровни n = 2, п = 3 и т.д.
Для определения возрастания информационной емкости по мере перехода на более высокие уровни изображенной на информационно-энтропийной спирали напомним , что максимальное количество структурной информации A/s' накапливается при переходе от Нr′ = Нmax к Нr′′ = 0, т.е. равно:
D IS = Нr′ – Нr′′ = Hmax
Величина максимальной энтропии для п - ой ступени определяется как:
Нпmax = log Nn = Кn log N0 (3.19)
Сопоставляя величину Нпгнх с величиной энтропии ступени n = О
H0max = log N0 (3.20)
убеждаемся, что в результате перехода с уровня n = 0 на уровень n , максимальная энтропия возросла в Кn раз :
Нпmax =Кn Н0max (3.21)
При переходе от исходного состояния Н в конечное состояние К энтропия уменьшается от Нr = Нmax до Нr = 0, а величина накапливаемой системой информации соответственно возрастает от I=0 до D IS = Нmax (см. рис 1).
При переходе с уровня n = О на уровень n в соответствии с увеличением энтропии в Кn раз увеличивается значение DISmax то есть возрастает потенциальная емкость:
(D ISmax)0 = Kn(D ISmax)0 (3.22)
В качестве примера подсчитаем с помощью формулы (3.22), как будут возрастать размеры витков спирали по мере увеличения номера ступени п .
Приняв условно диаметр витка при n = 0 за 1 см., получим размеры вышележащих витков, сведенные в таблицу 2.
Таблица 2
| п |
1 |
2 |
3 |
4 |
5 |
6 |
| Диаметры витков в см. |
1 |
6 |
36 |
216 |
1296 |
7776 |
Таблица 2 дает наглядное представление о степени прогрессивности роста информационной емкости по мере перехода на вышележащие витки. Нетрудно заметить, что при n = 3 , размеры витка (36 см.) близки к размерам раскрытой книжки, при n = 5 – к размерам довольно просторной залы (с диаметром 12,96 м ) , а при п = 6 – к размерам городской площади (с диаметром 77,76 м ).
Вследствие роста информационной емкости система, поднимаясь в процессе развития на все более высокие уровни иерархической спирали и постоянно стремясь к состоянию жесткой детерминации, оказывается тем дальше от этого состояния (в смысле потенциальной возможности накопления информации), чем больше витков в этой спирали ей удается пройти.
Как уже отмечалось, системы в своем развитии, как правило, не достигают состояния жесткой детерминации. Условием их динамичного равновесия оказывается сочетание частично детерминированных , а частично вариабельных (вероятностых) внутренних связей. Соотношение степени детерминации и вариабельности внутренних связей может быть выражено количественно как отношение величины остаточной энтропии Нr к количеству накопленной и сохраняемой структурной информации D IS:
|
G = |
Hr |
(3.23) | |
|
D IS |
где G – коэффициент стохастичности (вариабельности, гибкости) внутренних связей.
Оптимальным соотношением жесткости и гибкости внутренних связей Gopt оказывается такое соотношение, которое соответствует степени вариабельности условий внешней среды.
Результаты исследований статистических свойств письменных текстов дали близкие результаты для всех европейских языков:
G @ ¼
Очевидно, эта величина G является для языка оптимальной, так как она характеризует соотношение, возникшее в результате эволюционного развития языка. Будучи величиной статистической, она может варьироваться в зависимости от характера текста: для служебных бумаг и инструкций G < Gopt, для поэтических текстов G > Gopt.
Чем больше величина G, тем менее избыточным будет текст. Избыточность текста характеризуется коэффициентом избыточности R, определяемым как:
|
R = |
Hmax - Hr |
= |
D IS |
(3.24) | |
|
Hmax |
Hmax |
Сопоставляя (3.23) и (3.24). можно выразить величину G через R как:
|
G = |
1 – R |
(3.25) | ||
|
R |
ИНФОРМАЦИЯ И ЭНЕРГИЯ
Для выявления взаимосвязи структурной информации с внутренней энергией систем воспользуемся уравнением Гельмгольца:
Перейти на страницу: 1 2 3 4 5 6 7 8 9 10 11 12 13 14