Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
Информация, энтропия, негэнтропия, мера количества информации.
Возникновение теории информации. Понятие сигнала.
Теория информации (математическая теория информации) — раздел прикладной математики, аксиоматически определяющий понятие информации, её свойства и устанавливающий предельные соотношения для систем передачи данных.
Была построена в 1948 году К. Шэнноном, за ее основу был положен предложенный им метод исчислений количества новой (непредсказуемой) и избыточной(предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи. Более широкое понятие основ теории информации сложилось в кибернетике благодаря работам Винера, Котельникова и Колмогорова.
Категория информация заняла важное место при рассмотрении задач управления, управляемости. Информация рассматривалась как мера отражения.
Возникновение теории информации – это рассмотрение взаимодействия между объектами: субъект-объект, субъект-субъект и тд.
Важно чтобы это взаимодействие мы научились измерять на степень, полноту, меру отражения.
Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которой удалось ввести количественную меру, названную энтропией.
Теория информации рассматривает сигнальную специфику случайных процессов.
Случайные процессы являются адекватной моделью сигналов.
Сигнал – это материальный носитель информации, средство перенесения информации в пространстве и времени. В качестве сигналов используются не сами объекты, а их состояния.
Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала
Так как объект может взаимодействовать не только с объектом, информацию о котором мы хотели бы получить, но и с другими – то соответствие ослабевает. Посторонние взаимодействия, нарушающие это соответствие - называются помехами или шумами.
Условия, обеспечивающие сохранение сигнального соответствия называются кодом.
Код – комплекс правил образования сигнала.
Типы сигналов
Энтропия. Негэнтропия, меры количества информации.
Понятие энтропия было введено Больцманом в 1877 году – «энтропия характеризует недостающую информацию», но оно стало широко известным благодаря теории информации К.Шэннона (1948).
Энтропия случайного объекта А(распределения {pi}) – мера неопределенности случайного объекта А с конечным множеством состояний А1,…,Аn с соответствующими вероятностями p1,…,pn
n
H(A)=H({pi})= -∑ pi logpi
k=1
Свойства энтропии
При ∑ pi =1 дает pi = const = 1/n
Принцип максимума энтропии – из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией.
Дифференциальная энтропия – h(X) = - ∫ p(x)logp(x)dx
X
Негэнтропия - мера определенности объекта.
По мере изучения объекта мы проходим этапы от “Полное незнание” → “Полное знание”.
Количество информации
Количество информации - мера снятой неопределенности – числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропий этого объекта.
Априорная – H(X)
Апостериорная – H(X|yk) = H({p(xi|yk)})
m m
Получаем, что I(X,Y)= ∑ ∑ p(xi,yi)log p(yk|xi)/p(yk)
i=1 k=1
Среднее количество информации – есть мера соответствия двух случайных объектов, т.е. количество информации в объекте X об объекте Y равно количеству информации в объекте Y об объекте X.
Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний.
Размерность количества информации - единицей неопределенности служит энтропия объекта – «бит» - для дискретных, «нит» – для непрерывных величин.
Свойства количества информации
i
Результы математической теории информации(Обзор).
Теория информации приводит к ряду новых понятий, описывающих информационные процессы, происходящие в любых системах, к введению новых количественных параметров, позволяющих производить измерения и расчеты. Однако главная ценность теории информации заключается в полученных ею новых результатах, в открытии ранее неизвестных свойств систем, таких как:
R=I-I/Imax
R=H(X) - H(X|Y)
С = supRA
{A}
где RA – скорость передачи информации при условиях A, {A} - множество условий, подлежащих перебору.
Значение теории информации выходит далеко за рамки теории связи, в конечном счете, понятие информации вошло в число философских категорий, расширив понятие мира. Для системного анализа теория информации имеет неоднозначное значение. Во-первых, ее методы и результаты позволяют провести ряд количественных исследований информационных потоков в системе. Однако более важным является значение основных понятий теории информации – неопределенность, энтропии, количества информации и тд. Системный анализ неизбежно выходит на исследование ресурсов, которые потребуются для решения анализируемой проблемы. Сами информационные ресурсы играют далеко не последнюю роль наряду с остальными ресурсами – материальными, временными.