Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Задача 2.14. Задана матрица вероятностей системы, объединенной в одну систему из двух взаимозависимых систем В и А:
р(А, В)=.
Определить полные условные энтропии Н (В/А) и Н (А/В).
Решение. Вычисляем безусловные вероятности как суммы совместных вероятностей по строкам и столбцам исходной матрицы:
р()
р(А, В)=
р(b) 0,5 0,4 0,1
Определяем условные вероятности и составляем матрицу условных вероятностей:
p(/) = ; p() = = 0,6; p() = = 0,4;
p() = = 0,75; p() = = 0,25; p() = = 1;
p() = p() = p() = p() = 0;
p() = .
H (A/B) = - =
= -[+]≈ 0,485+0,324=0,809 бит/состояние,
или
H (A/B) = - = - (0,3 +
+ 0,2 + 0,3 + 0,1) = 0,3∙0,736 + 0,2∙1,31 + +0,3∙0,415 + 0,1∙2 ≈0,809 бит/состояние.
Аналогично для H (B/A)
p (/) = ; p (/) = =1; p (/) = = 0,333;
p (/) = = 0,5; p (/) = = 1;
p (/) = = 0,167; p (/) = p (/) = p (/) = p (/) = 0;
p (/) =
H (B/A) = - /) =
= - 0,6(0,333 + 0,51 + 0,167) ≈
≈0,6(0,5283 + 0,5 + 0,4318) ≈ 0,876 бит/состояние.
или
H (B/A) = - )) =
=- (0,2 + 0,3 + 0,1)≈
≈0,2∙1,586 + 0,3∙1 + 0,1∙2,582≈0,8754 бит/состояние.
Задача 2.16. Сообщения создаются двумя источниками и передаются по одному каналу связи. Известно, что на выходе источника i сигналы появляются с вероятностями = 0,5; = 0,333; = 0,167. Условные вероятности появления сигналов D, E, F и G источника j при условии, что были переданы сигналы A, B, C источника i, соответственно равны:
p (D/A) = p (E/A) = p (F/A) = p (G/A) = 0,25; p (D/B) = 0,3;
p (E/B) = 0,2; p (F/B) = 0,2; p (G/B) = 0,3; p (D/C) = 0,166;
p (E/C) = 0,5; p (F/C) = 0,167; p (G/C) = 0,167.
Определить совместную энтропию источников i, j, условную энтропию H (j/i), энтропию второго источника, а также максимальное значение энтропии H (i, j).
Решение. Определяем вероятность совместного проявления сигналов обоих источников, используя выражение p (i, j) = p (j/i):
p (AD) = p (AE) = p (AF) = p (AG) = 0,5∙0,25 = 0,125;
p (BD) = p (BG) = 0,33∙0,3 = 0,1; p (BE) = p (BF) = 0,333∙0,2 = 0,0666;
p (CD) = p (CF) = p (CG) = 0,167∙0,167≈0,028; p (CE) = 0,167∙0,5 = 0,083.
Совместная энтропия источников
H (i, j) = - = - (4∙0,125 +
+ 2∙0,11 + 2∙0,0666 + 3∙0,028 +
+ 0,083) = 4∙0,3375 + 2∙0,332 + 2∙0,26 + 3∙0,144 +
+ 0,298 = 1,5 + 0,664 + 0,52 + 0,432 + 0,298 =
= 3,415 бит/два символ.
Условная энтропия
H (j/ i) = - = - (4∙0,125 +
+ 2∙0,11 + 2∙0,0666 + 3∙0,028 +
+ 0,0835) = 0,5∙2 + 0,2∙1,731 + 2∙0,0666∙2,32 +
+ 0,084∙2,58 + 0,0835∙1 ≈ 1,9578 бит/знак.
Энтропия первого источника
H (i) = - = - (0,5 + 0,333 +
+ 0,167) = 1,459 бит/знак.
Энтропия объединения
H (i, j) = H (i) + H (i/j) = 1,459 + 1,957 = 3,416 бит/два символа.
Энтропия второго источника
H (j) = - [p (D) + p (E) + p (F) +
+ p (G)].
p (D) = = p (A) p (D/A) + p (B) p (D/B) + p (C) p (D/C) =
=0,5∙0,25 + 0,333∙0,3 + 0,167∙0,166 ≈ 0,253;
p (E) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,5 ≈ 0,275;
p (F) = = 0,5∙0,25 + 0,333∙0,2 + 0,167∙0,167 ≈ 0,219;
p (G) = = 0,5∙0,25 + 0,333∙0,3 + 0,167∙0,167 ≈ 0,253;
p (D) + p (E) + p (F) + p(G) = 0,253 + 0,275 + 0,219 + 0,253 = 1,
т. е. = 1.
H (j) = - (2∙0,253 + 0,275 + 0,219) =
=1,995 бит/знак.
Максимальное значение энтропии объединения H будет при отсутствии взаимосвязи между символами, т. е. при H (i/j) = 0.
H = H (i) + H (j) = 1,459 + 1,995 = 3,454 бит/два символа.
Задача 2.19. Определить полные условные энтропии двух систем A и B, если известна матрица вероятностей некоторой системы, полученной в результате объединения систем А и В:
P (A, B) = .
Найти также энтропию объединения H (A, B) и H (B, A).
Решение. Вычисляем безусловные вероятности p () и p ():
p ()
p (A, B) =
p () 0,3 0,3 0,4
Определяем условные вероятности и составляем матрицу условных вероятностей.
Так как p () = p () p () = p () p (), то
p () = ; p () = ;
p () = ≈ 0,67; p () = ≈0,33;
p () = ≈ 0,67; p () = ≈ 0,33;
p () = = 1; p () = p () = p () = p () = 0;
p () = .
H (A/B) = - ) =
= - [0,3 (0,67 + 0,33 ) +
+ 0,3 (0,67+ 0,33) + 0,4∙ 1] =
= (0,387 104 + 0,527 822)0,3 ∙ 2 = 0,914 926 ∙0,6 =
=0,5489556 бит/символ.
p () = = 1; p () = ≈0,33;
p () = ≈ 0,67; p () = = 0,2;
p () = = 0,8; p () = p () = p () = p () = 0;
p () =.
H (B/A) = - )) =
= - [0,2∙ 1 + 0,3 (0,33 + 0,67) +
+ (0,2 + 0,8)] = 0,3(0,527 822 + 0,387 104) +
+ 0,5(0,464 386 + 0,257 542) = 0,3 ∙ 0,914 926 + 0,5 ∙ 0,721 928 =
= 0,2 744 778 + 0,3 609 640 = 0,6 354 418 бит/символ;
H (A) = - = - (0,2 + 0,3 +
+ 0,5 ) = 0,464386 + 0,521090 + 0,500000 =
= 1,485 476 бит/символ;
H (A, B) = H (A) + H (B/A) = 1,485 476 + 0,635 442 = 2,120 918 ≈
≈ 2,12 бит/символ;
H (B) = 0,3 + 0,3 + 0,4 =
= 0,521 090 + 0,521 090 + 0,528 771 = 1,57 095 бит/символ;
H (B, A) = H (B) + H (A/B) = 1,570 951 + 0,549 956 = 2,119 907 ≈
≈ 2,12 бит/символ.
Задача 2.21. Построить матрицу вероятностей состояний объединенной системы АВ, если безусловные вероятности системы А: p () = 0,1;
p () = 0,4; p () = 0,5; безусловные вероятности системы В: p ()= =0,2; p () = 0,4; p () = 0,4; матрицы условных вероятностей:
p (a/b) = ; p (b/a) = .
Решение. Определяем вероятности совместных событий вида
p () = p () p () = 0,1∙1 = 0,1;
p (, ) = p () p (/) = 0,4∙0,25 = 0,1;
p (, ) = p () p (/) = 0,5∙0 = 0;
p (, ) = p () p (/) = 0,1∙0 = 0;
p (, ) = p () p (/) = 0,4∙0,75 = 0,3;
p (, ) = p () p (/) = 0,5∙0,2 = 0,1;
p (, ) = p () p (/) = 0,1∙0 = 0;
p (, ) = p () p (/) = 0,4∙0 = 0;
p (, ) = p () p (/) = 0,5∙0,8 = 0,4,
или
p (, ) = p () p (/) = 0,2∙0,5 = 0,1;
p (, ) = p () p (/) = 0,4∙0 = 0;
p (, ) = p () p (/) = 0,4∙0 = 0;
p (, ) = p () p (/) = 0,2∙0,5 = 0,1;
p (, ) = p () p (/) = 0,4∙0,75 = 0,3;
p (, ) = p () p (/) = 0,4∙0 = 0;
p (, ) = p () p (/) = 0,2∙0 = 0;
p (, ) = p () p (/) = 0,4∙0,25 = 0,1;
p (, ) = p () p (/) = 0,4∙1 = 0,4.
Матрица вероятностей объединенной системы
p (A, B) = .