Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Предоплата всего
Подписываем
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
СИБИРСКАЯ АЭРОКОСМИЧЕСКАЯ АКАДЕМИЯ
ИМЕНИ АКАДЕМИКА М. Ф. РЕШЕТНЕВА
Теория информации
Для студентов специальности «Автоматизированные системы обработки информации и управления»
МЕТОДИЧЕСКИЕ УКАЗАНИЯ К ЛАБОРАТОРНЫМ РАБОТАМ
Лабораторная работа № 1.
« Энтропия как мера степени неопределенности системы»
Любое сообщение с которым мы имеем дело в Теории Информации представляет собой совокупность сведений о некоторой физической системе. В качестве объекта рассматривается некоторая физическая система Х которая случайным образом оказывается в том или ином состоянии.
Опр.: Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифм этих вероятностей, взятые с обратным знаком.
Энтропия обладает рядом свойств:
За единицу измерения энтропии принимается энтропия простейшей системы, которая имеет 2 равновозможных состояния.
|
Х1 |
Х2 |
|
|
Рi |
1/2 |
1/2 |
Для вычисления энтропии вводят специальную функцию:
Энтропию также можно определить через математическое ожидание: