Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
ЛЕКЦИЯ 13
Количество информации в непрерывных сообщениях.
Рассмотрим информационные характеристики непрерывных сообщений.
Если величина u непрерывна, она имеет бесконечное множество возможных значений. Введем для нее понятие энтропии с помощью предельного перехода.
Заменим бесконечное множество значений «u» конечным числом N значений, взятых через равные интервалы:
.
Для k-го значения измеряемой величины uk получим выражение . Вероятность появления k-го значения находим из плотности распределения по формуле . Это выражение тем точнее, чем меньше .
Энтропия квантовой величины u*
По условию нормирования
тогда
При второе слагаемое стремится к бесконечности. Таким образом, предельный переход не позволяет ввести понятие энтропии переданного сообщения. Однако при определении количества информации для случая, когда сигнал искажен шумами (помехами), нужно из безусловной энтропии H(U) вычесть среднюю условную HW(Z). В этом случае при квантовании “u” и “” с одинаковым шагом получается, что энтропия соответствующих квантовых величин H(u*) HW*(U*) имеют одинаковые составляющие - , которые при вычитании взаимно компенсируются. Предельный переход при дает
Величину
(36)
называют априорной (безусловной) дифференциальной энтропией непрерывной величины U.
Величину
(37)
называют апостериорной (условной) дифференциальной энтропией.
Соответственно количество информации есть разность априорной и апостериорной дифференциальной энтропии
(38)
Аналогично можно получить выражение
. (39)
Заметим, что величина дифференциальной энтропии зависит от того, в каких единицах выражена величина переменной. Разность энтропий от этого не зависит, если только величины одинаковы.
Докажем симметричность этого критерия, т.е. что в величине содержится столько же информации о величине “u”, сколько в величине “u” – о величине . Как и в предыдущем случае, возьмем за основу соотношения, полученные для объектов с дискретными состояниями. Преобразуем формулу (29) для частного количества информации I(ui):
Подставляя полученное выражение в (34) получим:
Далее найденную формулу применим к непрерывным величинам “u” и “”, подвергнув их квантованию с шагом , и совершив затем предельный переход при .
Тогда получим
(40)
Во многих случаях принимаемую (воспроизводимую) величину можно представить как сумму передаваемой (измеряемой) величины “u” и некоторой помех “S”:
(41)
причем помеха часто не зависит от “u”. В этом случае условная дифференциальная энтропия равна безусловной энтропии помехи . Покажем это. По аналогии с (37)
(42)
Рассмотрим выражение в квадратных скобках под интегралом в правой части формулы (42). Заменим переменную в соответствии с (41). При этом . Будем иметь в виду, что данный интеграл вычисляется для фиксированного значения “u”:
Если значение “u” фиксировано, то условная вероятность обращается в безусловную, т.е. .
Тогда
но интеграл в правой части последнего выражения равен единице: . Поэтому
(43)
Формула (39) с учетом (43) имеет вид
(44)
Предполагаем, что при вычислении обеих энтропий – принимаемого сигнала и помехи – величины и S выражаются в одинаковых единицах.
Если измеряемая величина “u” и помеха S имеют нормальные распределения, то их сумма также имеет нормальное распределение. Дифференциальная энтропия нормально распределенной величины “u”, вычисленная по формуле (36)
где D(u) – дисперсия величины “u”.
Соответственно
Подставляя эти величины в (44), получаем
(45)
Как известно, дисперсия сигнала пропорциональна его средней мощности, которую обозначим Pu, а среднюю мощность помехи PS. Тогда
(46)
Отметим еще раз, что эта формула справедлива для случая, когда помеха является аддитивной и не зависит от сигнала, а законы их распределения – нормальные.
До сих пор не учитывалось, что “u” есть функция времени, а рассматривалась передача отдельных сообщений о значениях некоторой непрерывной величины “u”. При этом величина I(UW) трактовалась как среднее количество информации, содержащееся в одном принятом значении . Подразумевалось, что усреднение проводится по ансамблю всех возможных значений “u” и с учетом законов распределения каждой из них отдельно и обеих вместе.
Теперь перейдем к рассмотрению передачи случайной функции времени (случайного процесса) u(t) по каналу, в котором действует случайный шум S(t).
Пусть частотный спектр процесса u(t) ограничен частотой Fmax, а ширина полосы частот канала связи не меньше Fmax. Согласно теореме Котельникова, указанный процесс u(t) полностью определяется последовательностью ординат взятых с интервалом . Ординаты, отстающие одна от другой на величину Т, статистически взаимно независимы. Поэтому общее количество информации, содержащееся в принятом сообщении, равно сумме количеств информации, содержащихся в этих отдельных ординатах. В сообщении длительностью Тс содержится 2ТСFmax таких ординат. Среднее количество информации в принятом сообщении длительностью ТС равно
Интерес представляет среднее количество информации, принимаемая в единицу времени, т.е. средняя скорость передачи информации по данному каналу. Эта величина
(47)
При независимом аддитивном шуме S(t) и нормальных распределениях “u” и “S” средняя скорость передачи информации
(48)
ЛЕКЦИЯ 14
Связь между информационными и точностными характеристиками.
Информационные характеристики применимы не только к системам передачи информации, но и к измерительным приборам и системам. Погрешность есть помеха, вносящая дезинформацию. При аддитивной независимой (помехе) погрешности справедливо соотношение, аналогичное (44):
(49)
где I(U, W) – среднее количество информации получаемое при одном измерении величины u; Hдиф(W) и Hдиф() – дифференциальные энтропии воспроизводимой величины и погрешности.
Если к тому же измеряемая величина “u” и погрешность имеют нормальные распределения, то количество информации можно выразить через дисперсии этих величин по аналогии с (45):
(50)
Рассматривая измеряемую величину, как случайную функцию времени, можем определить среднюю скорость получения информации при измерении по формуле (47). Если при этом “u” и - взаимно независимые величины с нормальными распределениями, то
(51)
Если распределения “u” и отличны от нормальных, то получить столь простые формулы не удастся. Однако для случая, когда среднеквадратическое отклонение погрешности () много меньше среднеквадратического отклонения (u) измеряемой величины или диапазона измерений, т.е. разности (uкон-uнач), можно получить достаточно удовлетворительные приближенные соотношения. При (u)>>() ошибка в подсчете количества информации будет невелика, если в формуле (50) опустить слагаемое, равное 1, т.е. пользоваться выражением
Но это выражение можно также получить, если в формуле (49) заменить дифференциальную энтропию измеряемой величины Hдиф(W). Можно полагать, что при сформулированном условии относительной малости погрешности такая замена энтропий в формуле (49) справедлива не только для случая нормальных распределений “г” и . Итак, при относительно малых погрешностях
(52)
Предположим, что измеряемая величина “u” имеет равномерный закон распределения в диапазоне от начального uнач до конечного значения uкон. Дифференциальная энтропия такой величины
(53)
Если погрешность имеет нормальное распределение, то
(54)
Тогда для равномерного распределения “u” и нормального распределения :
(55)
Теперь рассмотрим случайный процесс u(t) с равномерным распределением “u” и равномерным спектром, ограниченным частотой Fmax. Если погрешность относительно мала, а закон распределения ее близок к нормальному, то скорость получения информации при измерении можно приближенно оценить по формуле
(56)
Рассмотрим случай, когда погрешность распределена равномерно в диапазоне от -max до +max, т.е.
(57)
При этом
(58)
Существуют понятие энтропийной погрешности. Смысл ее состоит в том, что реальная погрешность заменяется некоторой условной погрешностью с равномерным распределением, причем максимальное значение условной погрешности выбирают так, чтобы величина создаваемой ею дезинформации была такой же, как и при данной реальной погрешности. Это максимальное значение и называется энтропийной погрешностью.
Например, при реальной погрешности с нормальным законом распределения нужно выбрать так, чтобы были равны между собой величины Hдиф(), рассчитанные по формулам (54) и (58). Величину выбирают из условия
Отсюда
Следовательно, при нормальном распределении реальны погрешности энтропийная погрешность приблизительно вдвое больше среднеквадратического отклонения.
Применяя информационные критерии к измерительным преобразователям, следует помнить, что у них выходная величина не должна равняться входной “u”: поэтому нужно вместо брать величину, пересчитанную от выхода преобразователя к его входу, и определять погрешность в единицах входной величины.
73