Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Теорія інформації та кодування. Тема 1. Ентропія і інформація імовірнісних схем. Носов В.В.
Лекція 4. Властивості ентропії
Навчальні питання
1. Властивості ентропії 1
2. Ентропія при безперервному повідомленні 4
Час – 2 год.
Література.
Вступ
При равновероятности знаков алфавита Рi = 1/m из формулы Шеннона получают:
.
Из этого следует, что при равновероятности знаков алфавита энтропия определяется исключительно числом знаков m алфавита и по существу является характеристикой только алфавита.
Если же знаки алфавита неравновероятны, то алфавит можно рассматривать как дискретную случайную величину, заданную статистическим распределением частот ni появления знаков хi (или вероятностей pi =ni /n) табл. 2.1:
Таблица 2.1.
|
Знаки хi |
x1 |
x2 |
. . . |
xm |
|
Частоты ni |
n1 |
n2 |
. . . |
nm |
Такие распределения получают обычно на основе статистического анализа конкретных типов сообщений (например, русских или английских текстов и т.п.).
Поэтому, если знаки алфавита неравновероятны и хотя формально в выражение для энтропии входят только характеристики алфавита (вероятности появления его знаков), энтропия отражает статистические свойства некоторой совокупности сообщений.
На основании выражения
,
величину log 1/pi можно рассматривать как частную энтропию, характеризующую информативность знака хi, а энтропию H - как среднее значение частных энтропий.
Функция (pi log pi) отражает вклад знака хi в энтропию H. При вероятности появления знака pi=1 эта функция равна нулю, затем возрастает до своего максимума, а при дальнейшем уменьшении pi стремится к нулю (функция имеет экстремум, рис. 2.1).
Рис. 2.1. Графики функций log 1/pi и pilog pi
Для определения координат максимума этой функции нужно найти производную и приравнять ее к нулю.
Из условия находят: pi e = 1, где е - основание натурального логарифма.
Таким образом, функция: (pi log pi) при pi = 1/e = 0,37 имеет максимум: , т.е. координаты максимума (0,37; 0,531)
Энтропия Н величина вещественная, неотрицательная и ограниченная, т.е. Н 0 (это свойство следует из того, что такими же качествами обладают все ее слагаемые pi log 1/pi).
Энтропия равна нулю, если сообщение известно заранее (в этом случае каждый элемент сообщения замещается некоторым знаком с вероятностью, равной единице, а вероятности остальных знаков равны нулю).
Энтропия максимальна, если все знаки алфавита равновероятны, т.е. Нmax = log m.
Таким образом, степень неопределенности источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению неопределенности.
Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния.
Действительно, в первом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99), а во втором случае неопределенность максимальна, поскольку никакого обоснованного предположения о результате выбора сделать нельзя. Ясно также, что весьма малое изменение вероятностей состояний вызывает соответственно незначительное изменение неопределенности выбора.
На самостоятельную работу
Задача 1. Распределение знаков алфавита имеет вид р(х1) = 0,1, р(x2) = 0,1, р(x3) = 0,1, р(x4) = 0,7. Определить число знаков другого алфавита, у которого все знаки равновероятны, а энтропия такая же, как и у заданного алфавита.
Особый интерес представляют бинарные сообщения, использующие алфавит из двух знаков: (0,1). При m = 2 сумма вероятностей знаков алфавита: p1+p2 = 1. Можно положить p1 = p, тогда p2 = 1p.
Энтропию можно определить по формуле:
,
Энтропия бинарных сообщений достигает максимального значения, равного 1 биту, когда знаки алфавита сообщений равновероятны, т.е. при p = 0,5, и ее график симметричен относительно этого значения.(рис.2.2).
Рис. 2.2. График зависимости энтропии Н двоичных сообщений (1) и ее составляющих (2,3): (1p) log (1p) и p log p от p
Задача 2. Сравнить неопределенность, приходящуюся на букву источника информации (алфавита русского языка), характеризуемого ансамблем, представленным в таблице 2.2, с неопределенностью, которая была бы у того же источника при равновероятном использовании букв.
Для большинства реальных источников сообщения имеют разные вероятности. Например, в тексте буквы А, О, Е встречаются сравнительно часто, а Щ, Ы – редко. Согласно экспериментальным данным, для букв русского алфавита характерны безусловные вероятности, сведенные в табл. 2.2.
Таблица 2.2. Безусловные вероятности букв русского алфавита
|
буква |
вероятность |
буква |
вероятность |
буква |
вероятность |
|
пробел |
0,175 |
М |
0,026 |
Ч |
0,012 |
|
О |
0,090 |
Д |
0,025 |
Й |
0,010 |
|
Е |
0,072 |
П |
0,023 |
Х |
0,009 |
|
А |
0,062 |
У |
0,021 |
Ж |
0,007 |
|
И |
0,062 |
Я |
0,018 |
Ю |
0,006 |
|
Т |
0,053 |
Ы |
0,016 |
Ш |
0,006 |
|
Н |
0,053 |
З |
0,016 |
Ц |
0,004 |
|
С |
0,045 |
Ь,Ъ |
0,014 |
Щ |
0,003 |
|
Р |
0,040 |
Б |
0,014 |
Э |
0,003 |
|
В |
0,038 |
Г |
0,013 |
Ф |
0,002 |
|
Л |
0,035 |
К |
0,028 |
|
|
Решение.
H = log m = log 32 = 5 бит.
4,35 бит.
Таким образом, неравномерность распределения вероятностей использования букв снижает энтропию источника с 5 до 4,35 бит
На самостоятельную работу
В задаче 2 проверить полученные результаты, написав программу расчета в Excel, MathCad.
Задача 3. Заданы ансамбли Х и Y двух дискретных величин:
Таблица 2.3.
|
Случайные величины хi |
0,5 |
0,7 |
0,9 |
0,3 |
|
Вероятности их появления |
0,25 |
0,25 |
0,25 |
0,25 |
Таблица 2.4.
|
Случайные величины уj |
5 |
10 |
15 |
8 |
|
Вероятности их появления |
0,25 |
0,25 |
0,25 |
0,25 |
Сравнить их энтропии.
Решение. Энтропия не зависит от конкретных значений случайной величины. Так как вероятности их появления в обоих случаях одинаковы, то
Н(Х) = Н(Y) = 4(0,25 log 0,25) = 4(1/4 log 1/4) = log 4 = 2 бита
Ранее была рассмотрена мера неопределенности выбора для дискретного источника информации. На практике в основном встречаются с источниками информации, множество возможных состояний которых составляет континуум. Такие источники называют непрерывными источниками информации.
Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передается и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы аналоговой телефонной связи и телевидения.
Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику.
Во-первых, значения, реализуемые источником, математически отображаются случайной непрерывной величиной.
Во-вторых, вероятности значений этой случайной величины не могут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю.
Естественно, однако, связывать неопределенность выбора значения случайной непрерывной величины с плотностью распределения вероятностей этих значений.
Учитывая, что для совокупности значений, относящихся к любому сколь угодно малому интервалу случайной непрерывной величины, вероятность конечна, попытаемся найти формулу для энтропии непрерывного источника информации, используя операции квантования и последующего предельного перехода при уменьшении кванта до нуля.
Для напоминания
Случайные переменные
Пусть случайная переменная Х(А) представляет функциональное отношение между случайным событием А и действительным числом. Для удобства записи обозначим случайную переменную через X, а ее функциональную зависимость от А будем считать явной. Случайная переменная может быть дискретной или непрерывной. Функция распределения FX(x) случайной переменной X описывается выражением
FX(x) = P(X x), (1)
где Р(Х x) — вероятность того, что значение, принимаемое случайной переменной X, меньше действительного числа х или равно ему. Функция распределения FX(x) имеет следующие свойства:
Еще одной полезной функцией, связанной со случайной переменной X, является плотность распределения вероятности (плотность вероятности), которая записывается следующим образом:
. (2, а)
Как и в случае функции распределения, плотность вероятности — это функция действительного числа х. Название "функция плотности" появилось вследствие того, что вероятность события x1 X x2 равна следующему:
(2, б)
Используя уравнение (2, б), можно приближенно записать вероятность того, что случайная переменная X имеет значение, принадлежащее очень узкому промежутку между х и х + Δх:
(2, в)
Таким образом, в пределе при Δх0, мы можем записать следующее:
Р(Х=х) = pX(х)dх. (2, г)
Плотность вероятности имеет следующие свойства:
Для обобщения формулы Шеннона разобьем интервал возможных состояний случайной непрерывной величины Х на равные непересекающиеся отрезки х и рассмотрим множество дискретных состояний х1, x2, ... , xm с вероятностями Pi = p(xi)x (i = 1, 2, ... , m). Тогда энтропию можно вычислить по формуле:
В пределе при x 0 с учетом соотношения:
,
Получим
.
Первое слагаемое в правой части соотношения имеет конечное значение, которое зависит только от закона распределения непрерывной случайной величины Х и не зависит от шага квантования. Оно имеет точно такую же структуру, как энтропия дискретного источника.
Поскольку для определения этой величины используется только функция плотности вероятности, т.е. дифференциальный закон распределения, она получила название относительной дифференциальной энтропии или просто дифференциальной энтропии непрерывного источника информации (непрерывного распределения случайной величины Х).
Первое слагаемое в этой сумме, называемое также приведенной энтропией, целиком определяет информативность сообщений, обусловленных статистикой состояний их элементов.
Величина logx зависит только от выбранного интервала x, определяющего точность квантования состояний, и при x =const она постоянна.
Энтропия и количество информации зависят от распределения плотности вероятностей р(х).
В теории информации большое значение имеет решение вопроса о том, при каком распределении обеспечивается максимальная энтропия Н(х).
Можно показать, что при заданной дисперсии:
,
наибольшей информативностью сообщение обладает только тогда, когда состояния его элементов распределены по нормальному закону:
Так как дисперсия определяет среднюю мощность сигнала, то отсюда следуют практически важные выводы.
Передача наибольшего количества информации при заданной мощности сигнала (или наиболее экономичная передача информации) достигается при такой обработке сигнала, которая приближает распределение плотности вероятности его элементов к нормальному распределению.
В то же время, обеспечивая нормальное распределение плотности вероятности элементам помехи, обеспечивают ее наибольшую “информативность”, т.е наибольшее пагубное воздействие на прохождение сигнала. Найдем значение энтропии, когда состояния элементов источника сообщений распределены по нормальному закону:
.
Найдем значение энтропии, когда состояния элементов распределены внутри интервала их существования а х b по равномерному закону, т.е
,
.
Дисперсия равномерного распределения , поэтому . С учетом этого можно записать
Сравнивая между собой сообщения с равномерным и нормальным распределением вероятностей при условии НG(х) = Нr(х), получаем:
Это значит, что при одинаковой информативности сообщений средняя мощность сигналов для равномерного распределения их амплитуд должна быть на 42% больше, чем при нормальном распределении амплитуд.
На самостоятельную работу
Задача 4. Найдите энтропию случайной величины, распределенной по закону с плотностью вероятности
Задача 5. При организации мешающего воздействия при передаче информации можно использовать источник шума с нормальным распределением плотности и источник, имеющий в некотором интервале равномерную плотность распределения. Определить, какой источник шума применять экономичнее, каков при этом выигрыш в мощности.
Решение. Сравнение источников следует проводить из условия обеспечения равенства энтропий, когда каждый источник вносит одинаковое мешающее воздействие при передаче информации, но, очевидно, затрачивая при этом не одинаковые мощности.
Как было показано выше, сравнивая между собой сообщения с равномерным и нормальным распределением вероятностей при условии НG(х) = Нr(х), получаем:
Поэтому следует выбирать источник шума с нормальным распределением плотности распределения амплитуд, т.к. при той же неопределенности, вносимой им в канал связи, можно выиграть в мощности 42%.
Висновки
Контрольні питання