Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИБИРСКАЯ АЭРОКОСМИЧЕСКАЯ АКАДЕМИЯ
ИМЕНИ АКАДЕМИКА М. Ф. РЕШЕТНЕВА
Теория информации
Для студентов специальности «Автоматизированные системы обработки информации и управления»
МЕТОДИЧЕСКИЕ УКАЗАНИЯ К ЛАБОРАТОРНЫМ РАБОТАМ
Лабораторная работа №2
«Энтропия сложной системы. Условная энтропия»
Влияние помех в канале связи описывается канальной матрицей, с помощью условных вероятностей P(Y/X) и P(Х/Y), где X – источник информации, Y – приемник информации.
По результатам исследования определить:
Исходные данные:
Р(уi /xi) и Р(xi/ уi) получить из матрицы совместных вероятностей, размером 10x10, которую задать самостоятельно.
Х – 32-х буквенный алфавит
Y – 32-х буквенный алфавит
Теоретическая часть:
Понятие условной энтропии в теории информации используется при определении взаимозависимости между символами кодируемого алфавита, для определения потерь при передаче информации по каналам связи, при вычислении энтропии объединения.
При вычислении условной энтропии используются условные вероятности.
Предположим что есть 2 независимых системы Х и У. Предположим что система Х приняла состояние Хi. Обозначим символом Р(Уj /Xi) – условную вероятность того, что система У принимает состояния Уj при условии что система Х находится в состоянии Xi.
Тогда частную условную энтропию системы можно определить следующим образом:
Различают понятия частной и общей условной энтропии.
Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащееся в любом символе алфавита, и определяется усреднением по всем символам, т.е. по всем состояниям с учетом вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита на неопределенность, которая остается после того, как адресат принял сигнал.
Через специальную функцию:
Через математическое ожидание, где МхI – математическое ожидание случайной величины при наступлении события xI
Понятие общей и частной условной энтропии широко используется при вычислении информационных потерь в каналах связи с шумами.
В общем случае, если мы передаем m сигналов А и ожидаем получить m сигналов В, влияние помех в канале связи полностью описывается канальной матрицей
Вероятности, которые расположены по диагонали, определяют правильный прием, остальные — ложный. Значения цифр, заполняющих колонки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.
Если описывать канал связи со стороны источника сообщений, то прохождение данного вида сигнала в данном канале связи описывается распределением условных вероятностей вида р(bj/аi).
Потери информации, которые приходятся на долю сигнала а описываются при помощи частной условной энтропии Суммирование производится по j, так как i-е состояние (в данном случае первое) остается постоянным.
Чтобы учесть потери при передаче всех сигналов по данному каналу связи, следует просуммировать все частные условные энтропии, т. е. произвести двойное суммирование по i и по j. При этом в случае равновероятных появлений сигналов на выходе источника сообщений
В случае неравновероятного появления символов источника сообщений следует учесть вероятность появления каждого символа, умножив на нее соответствующую частную условную энтропию.
Полную энтропию можно определить следующим образом:
или:
Величина Н(У/Х) характеризует степень неопределенность системы У после того как состояние системы Х полностью определилось
Величину Н(У/Х) называют полной условной энтропией системы У относительно системы Х.
Энтропия объединения используется для вычисления энтропии совместного появления статистически зависимых сообщений.
Если две системы Х и У объединяются в одну, то энтропия объединенной системы равна энтропии одной из ее составляющих частей плюс условная энтропия второй части относительно первой.
В частном случае когда системы независимы имеем:
В общем случае:
Энтропия сложной системы достигает максимума, когда ее составные части независимы.