Поможем написать учебную работу
Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Если у вас возникли сложности с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой - мы готовы помочь.
Теорія інформації та кодування. Тема 4. Характеристики дискретних каналів звязку. Носов В.В.
Лекція 10(2.4). Інформаційні характеристики дискретних каналів звязку
Навчальні питання
1. Інформаційні характеристики дискретних каналів звязку 1
2. Приклади розвязання задач 7
Час 4 год.
Література.
Вступ
Інформація передається по каналах звязку у вигляді сигналів, які повинні бути узгодженні з інформаційними характеристиками цих каналів. Розглянемо інформаційні характеристики дискретних каналів звязку.
В технічних системах каналом звязку називають сукупність технічних засобів та фізичного середовища розповсюдження сигналу (лінії звязку), яка забезпечує передачу повідомлень від джерела до одержувача незалежно від передачі повідомлень між іншими джерелами та одержувачами по цій лінії звязку. Так, канал телевимірювань це пристрої та лінія звязку, за допомогою яких дані вимірювання деякої величини передаються на відстань.
Канал звязку має один вхід та один вихід, яким зіставляються відповідно вхідний та вихідний сигнали.
В теорії інформації під каналом звязку (або просто каналом), розуміють математичну модель, яка описує перетворення вхідного сигналу у вихідний.
Головною класифікаційною ознакою каналів звязку є різновиди вхідного та вихідного сигналів. Якщо на вході та на виході каналу діють аналогові (неперервні) сигнали, то канал називають аналоговим (неперервним). На вході та на виході дискретного (цифрового) каналу мають місце послідовності символів вхідного та вихідного алфавітів відповідно.
Фізичний дискретний канал найчастіше складається із неперервного каналу (лінії звязку, наприклад), до якого на вході підключається пристрій узгодження дискретних сигналів із входом неперервного каналу, а на виході пристрій, що вирішує. Останній повинен по сигналу, який має місце на виході неперервного каналу, прийняти рішення, тобто розпізнати символ, який і зявиться на виході дискретного каналу.
Позначимо через X = {x1, x2, x3, … , xM} алфавіт на вході дискретного каналу, а через Y = {y1, y2, y3, … , yN} алфавіт на його виході. потужність або обєм алфавіту на вході каналу, на його виході.
Якщо потужність алфавіту на вході , канал називають двійковим, при трійковим тощо.
Для каналу без витирання потужності вхідного та вихідного алфавітів збігаються, тобто M = N. Для каналів з витиранням кількість символів вихідного алфавіту на одиницю перевищує кількість символів вхідного алфавіту, тобто . Цей додатковий символ вихідного алфавіту називають символом витирання. Поява символу витирання на виході каналу відповідає такій ситуації в реальному ( фізичному ) каналі, коли сигнал, за допомогою якого передавався символ, був істотно спотвореним. В цьому випадку прийняття рішення пристроєм, що вирішує, який входить до складу дискретного каналу звязку, про передачу конкретного символу призведе з високою ймовірністю до невірного результату. Таким чином, наявність символу витирання у вихідному алфавіті каналу знижує ймовірність помилок, але ж виникнення символу витирання у послідовності символів на виході каналу вносить суттєву невизначеність відносно того, який символ було передано. Ця невизначеність усувається або зменшується у реальних системах звязку відповідними засобами (завадостійке кодування, повторна передача спотворених символів по командам зворотного звязку ).
Однією із характеристик, яка визначає швидкість передачі інформації по дискретному каналу , є середня швидкість передачі символів (не треба плутати ці дві характеристики). Чисельно дорівнює середній кількості символів, що передаються по каналу за одиницю часу, і вимірюється в Бодах. 1 Бод відповідає передачі 1 символу за секунду. В технічних системах, як правило, тривалості всіх символів, тобто час їх перебування на вході та на виході каналу є однаковим; позначимо цю тривалість через Т. Тоді швидкість передачі символів по дискретному каналу (її ще називають технічною швидкістю або швидкістю модуляції) .
Заради спрощення будемо вважати, що затримка символів в каналі відсутня. Тобто символ на вході каналу та відповідний йому символ на виході зявляються одночасно у деякий момент часу, що є кратним .
Дискретний канал вважають цілком заданим, якщо можна визначити ймовірність переходу будь-якої послідовності символів на вході каналу для будь-яких фіксованих, кратних моментів часу у будь-яку послідовність символів на виході каналу для тих же моментів часу.
Для деяких каналів достатньо мати матрицю перехідних ймовірностей
. |
(3.1) |
Тут умовна ймовірність появи на виході каналу в деякий момент часу символу при умові, що на вході каналу в цей же момент мав місце символ . Зрозуміло, що сума кожного рядка матриці (3.1) дорівнює одиниці.
Домовимося, що при відбулася правильна передача символу, якщо ж , то виникла помилка, або зявився символ витирання (для каналів з витиранням).
Дискретні канали класифікують в залежності від властивостей перехідних ймовірностей.
Якщо перехідні ймовірності не залежать від часу, канал називають стаціонарним або однорідним; в протилежному випадку нестаціонарним, неоднорідним.
Канал називають каналом без памяті, якщо перехідні ймовірності не залежать від передісторії. Термін "без памяті" підкреслює той факт, що при передачі чергового символу канал нібито "не памятає" результатів попередніх передач. Канал, для якого перехідні ймовірності залежать від передісторії називають, каналом із памяттю. Для каналу без памяті достатньо мати матрицю перехідних ймовірностей типу (3.1). Канали ж із памяттю потребують значно складнішого опису. Це наприклад, може бути сукупність матриць перехідних ймовірностей, кожна з яких відповідає одному із станів каналу.
Дискретний канал називають симетричним по входу, якщо всі рядки матриці перехідних ймовірностей утворені перестановкою елементів першого її рядка.
Дискретний канал називають симетричним по виходу, якщо всі стовпці матриці перехідних ймовірностей утворені перестановкою елементів першого її стовпця.
Будемо називати дискретний канал симетричним в послабленому значенні, якщо він є симетричним як по входу, так і по виходу.
В більшості навчальної літератури симетричним дискретним каналом називають канал, для якого ймовірність помилки при передачі будь-якого символу не залежить від виду помилки, тобто для усіх пар таких, що . Будемо називати такий канал симетричним в посиленому значенні. Канал симетричний в посиленому значенні є завжди симетричним і в послабленому значенні; зворотне не вірно (за винятком двійкового каналу).
Слід зауважити, що фізичні дискретні канали можуть бути симетричними в посиленому значенні тільки при невеликих потужностях вхідного алфавіту: . При через фізичні особливості сигналів, які використовують для передачі символів, навіть уявити симетричний в посиленому значенні канал дуже важко. Найбільш простим каналом є двійковий стаціонарний канал без памяті, який при наявності символу витирання у вихідному алфавіті має матрицю перехідних ймовірностей
. |
(3.2) |
Часто замість символів та використовують , а саме ; ; .
Двійковий стаціонарний канал без памяті та без витирання цілком описується такою матрицею:
. |
(3.3) |
Для двійкового каналу без витирання поняття симетричності в посиленому та послабленому значеннях збігаються. Тому будемо називати такий канал симетричним (без уточнень в посиленому, чи в послабленому значенні), якщо .
Двійковий стаціонарний симетричний канал без памяті та без витирання називають біноміальним. Це найпростіший канал. Матриця перехідних ймовірностей такого каналу
(3.4) |
визначається всього одним параметром ймовірністю помилки при передачі двійкового символу по каналу. Ймовірність правильного прийому двійкового символу часто позначають через ; зрозуміло, що .
Спостерігаючи за символами на виході каналу, отримуємо певну інформацію про символи, що зявляються на його вході. В ідеальних каналах, які називають каналами без шуму, перехідні ймовірності
В таких каналах отримання символу на виході однозначно визначає символ на вході, тобто втрати інформації відсутні.
В каналах із шумом всі або майже всі перехідні ймовірності відрізняються від нуля, тому знання символу на виході каналу не дозволяє однозначно дати відповідь на запитання, яким є символ на вході каналу. В таких каналах мають місце втрати інформації.
Щоб отримати кількісні оцінки інформаційних характеристик каналу, уявимо, що до входу каналу підключено дискретне джерело інформації з алфавітом , а вихід каналу це інше джерело з алфавітом .
Середня кількість інформації , яка міститься в символі на виході каналу про символ, що передається (тобто має місце на вході каналу), розраховується за виразами для повної взаємної інформації
(3.5) (3.6) |
Іншими словами, це є кількість інформації, що переноситься в середньому одним словом.
Якщо матриця перехідних ймовірностей є відомою, краще користуватись (3.6), оскільки умовна ентропія розраховується саме через ці ймовірності.
Швидкістю передачі інформації по каналу називають кількість інформації, що передається по каналу за одиницю часу. Вона визначається
, |
(3.7) |
або
(3.8) |
і вимірюється в біт/с.
Швидкість передачі інформації залежить як від характеристик каналу, так і від характеристик джерела інформації на його вході.
Пропускна здатність С каналу це максимально можлива швидкість передачі інформації через цей канал
(3.9) |
Зрозуміло, що пропускна здатність вимірюється, як і швидкість передачі інформації, в біт/с.
Слід зауважити, що при визначенні пропускної здатності каналу всі його характеристики (швидкість передачі символів, перехідні ймовірності) є фіксованими, а максимум відшукується по усім розподілам ймовірностей появи символів на вході каналу. Тобто знаходиться такій набір значень ймовірностей появи символів на вході каналу, який забезпечує максимум С. Звідси виходить, що пропускна здатність визначається тільки характеристиками каналу.
Ураховуючи (3.7), (3.8) та останні зауваження, можна записати такі вирази для пропускної здатності каналу
(3.10) (3.11) |
Якщо йдеться про дискретні канали, то умовну ентропію називають середньою кількістю інформації, яка загублена через помилки в каналі, або ненадійністю каналу, а умовну ентропію ентропією завад або ентропією джерела шуму.
Для пропускної здатності дискретного стаціонарного симетричного каналу без памяті можна отримати прості аналітичні вирази, якщо скористатися властивостями цих каналів, які розглядаються нижче.
Властивість 1. Якщо канал є симетричним по входу, то умовна ентропія не залежить від розподілу ймовірностей {p(xi)} та дорівнює частинній умовній ентропії .
Дійсно, оскільки для такого каналу будь-який рядок матриці перехідних ймовірностей p(yk /xi) можна отримати перестановкою першого її рядка, то
. |
З урахуванням цього отримаємо
(3.12) |
Властивість 2. Для симетричного по виходу каналу рівноймовірний розподіл вхідних символів () дає рівномірний розподіл вихідних символів.
Згідно з формулою повної ймовірності
Вираз є сумою елементів k - го стовпця. Для симетричного по виходу каналу ця сума не залежить від номера стовпця і дорівнює M/N, тому
Визначимо тепер пропускну здатність дискретного стаціонарного симетричного в послабленому значенні каналу без памяті та без витирання (тобто при N=M).
Звернемося до виразу (3.11). Згідно властивості 1 умовна ентропія H(Y/X) не залежить від розподілу {p(xi)}, тому можна записати
(3.13) |
Ентропія набуває максимального значення , коли всі символи алфавіту є однаково ймовірними. Згідно властивості 2 це буде мати місце при однаково ймовірному розподілі символів на вході каналу.
Таким чином
(3.14)
Якщо канал є симетричним по входу, але не симетричним по виходу, може не існувати розподіл {p(xi)}, для якого вихідні символи yk будуть однаково ймовірними. В цьому випадку
. |
(3.15) |
Для несиметричних каналів пошук пропускної здатності значно ускладнюється.
В деякій науково-технічній та навчальній літературі приймають v0 = 1 Бод ( іноді навіть не домовляючись про це). При цьому швидкість передачі інформації та пропускна здатність чисельно дорівнює відповідній кількості інформації, що в середньому переносить один символ, тобто ; . Це не призводить до принципових непорозумінь; одночасно дещо спрощуються розрахунки та запис виразів ( див. задачу 3.3.5 ).
Пропускна здатність визначає потенційні можливості каналу. У другій теоремі Шеннона (її ще називають теоремою для дискретного каналу з шумом) стверджується, що при умові, коли продуктивність джерела інформації на вході каналу не перевищує пропускної здатності дискретного каналу, існує метод завадостійкого кодування, який забезпечує яку завгодно малу ймовірність помилки при передачі повідомлень через цей канал.
Моделі дискретних каналів використовуються для оцінки ефективності цифрових систем звязку, завадостійкого кодування тощо. Так, при застосуванні завадостійкого кодування необхідно знати ймовірність спотворення в кодовій комбінації, що передається по каналу, певної кількості символів.
Для біноміального каналу ймовірність спотворення точно і символів на будь-яких і позиціях в кодовій комбінації двійкового коду довжиною в n символів визначається
2 (3.16)
тут ймовірність помилки (спотворення) двійкового символу в каналі.
До речі, вираз (3.16) пояснює назву каналу, а саме, права частина це загальний член представлення [ p + ( 1 p)] n у вигляді полінома степеня n за допомогою формули бінома Ньютона.
Дуже часто необхідно знати ймовірність виникнення або більшої кількості помилок в процесі передачі по каналу кодової комбінації двійкового коду довжиною n. Для біноміального каналу вона визначається:
(3.17) |
Біноміальний канал є найпростішою моделлю, проте для багатьох реальних двійкових каналів ця модель не може бути використаною через значні розбіжності між моделлю та реальним каналом. Головною особливістю таких реальних каналів є наявність памяті, що проявляється в групуванні або пакетоутворенні помилок.
Термін групування (пакетоутворення) легко зрозуміти, якщо уявити, що канал може перебувати в одному із двох станів. В першому із цих станів поганому, ймовірність виникнення помилок є великою, в другому дуже малою. Коли канал перебуває у поганому стані, має місце пакет помилок. Перехід із одного стану в другий відбувається випадково. До речі, на таких уявленнях базується модель Гільберта модель двійкового каналу із групуванням помилок.
Розроблено багато моделей із групуванням помилок. Але більшість із них не застосовується при розрахунках систем через значну складність. Ці моделі, як правило, мають велику кількість параметрів, чисельні значення яких для реальних каналів важко отримати.
Найбільш простою і поширеною моделлю двійкового каналу, яка ураховує групування помилок, є модель Пуртова або модель BAЗ. Л.Пуртов керівник підрозділу військової Академії звязку ( ВАЗ ), м.Санкт-Петербург, співробітники якого виконали велику кількість вимірювань реальних каналів, обробили їх результати та запропонували математичну модель. Ця модель є апроксимацією експериментально отриманих для різних каналів кривих залежності ймовірності P ( t, n ) від t для фіксованих n. Виявилось, що при для багатьох двійкових каналів ця залежність з достатньою для практичних розрахунків точністю може бути записана
(3.18)
де р - середня ймовірність помилок;
коефіцієнт групування .
В залежності від типу каналу має значення від 0,3 до 0,8.
Задача 3.2.1
Знайти пропускну здатність трійкового стаціонарного каналу без памяті, який має таку матрицю перехідних ймовірностей
.
Швидкість передачі символів по каналу v0=100 Бод.
Знайти середню кількість інформації, що переноситься одним символом, та швидкість передачі інформації по такому каналу від дискретного немарковського джерела інформації з алфавітом X= {x1,x2,x3}, якщо ймовірності виникнення символів
Часові характеристики джерела та каналу узгоджені, тобто тривалість кожного символу на виході джерела
Швидкість передачі інформації розрахуємо, користуючись виразом (3.8). Щоб отримати H ( Y ), знайдемо за виразом
(3.19) |
Маємо p( y1) = 0,556 ; p( y2) = 0,315 ; p( y3) = 0,129 ;
H ( Y ) = 1,377 біт.
Нарешті = 100 ( 1,377 0,557 ) = 82 біт / с .
Задача 3.2.2
Для каналу, який має матрицю перехідних ймовірностей
знайти середню кількість інформації, що переноситься одним символом , та швидкість передачі інформації по каналу , якщо до входу каналу підключене марковське стаціонарне дискретне джерело інформації з алфавітом та глибиною памяті описується такою матрицею умовних ймовірностей виникнення символу xi при умові, що йому передував символ xk :
Розвязання. Оскільки до входу каналу підключене марковське джерело, вихід каналу теж в загальному випадку буде являти собою марковське джерело, при цьому глибина памяті може бути більше одиниці. Це ускладнює застосування виразів (3.6) та (3.8) , оскільки для розрахунків недостатньо знати тільки безумовні ймовірності p(yk) виникнення символів на виході каналу; треба знати також умовні ймовірності p(yk/s), де s стан джерела з алфавітом (виходу каналу), який визначається попередніми символами на виході каналу.
Для розрахунку середньої кількості інформації, що переноситься одним символом, доцільніше в цьому випадку користуватись виразом (3.5) . Щоб знайти умовну ентропію , треба знайти умовні ймовірності , для чого скористуємося виразом
Ймовірності p(xi) можна отримати, скористувавшись рівняннями:
Підставивши сюди значення умовних ймовірностей з відповідної матриці та дещо спростивши, будемо мати систему лінійних рівнянь:
Розв'язання системи дає:
Ймовірності p(yk/xi) є відомими. Для розрахунку ймовірностей p(yk) скористуємося виразом (3.19) . Маємо
p(x1) = 0,70037; p(x2) = 0,16802; p(x3) = 0,13161.
Тепер знаходимо набір ймовірностей :
.
Умовна ентропія . Тепер потрібно знайти ентропію марковського джерела з глибиною памяті . Для використаємо відповідне співвідношення (лек. 5):
,
тоді
Кількість інформації, що переноситься одним символом, з урахуванням значення ентропії :
.
Швидкість передачі інформації по каналу
= v0 I (Y, X ) = 100 0,601 = 60,1 біт /c .
Задача 3.2.3
Отримати вирази для пропускної здатності симетричного в посиленому значенні каналу без памяті для довільної потужності алфавіту та для біноміального каналу. Проаналізувати залежність пропускної здатності біноміального каналу від ймовірності помилки в каналі.
Розвязання. Матриця перехідних ймовірностей для симетричного в посиленому значенні каналу з алфавітом потужності М містить М рядків, М стовпців та має вигляд
. |
(3.20) |
Тут ймовірність виникнення конкретної помилки при передачі символу по каналу (наприклад, перехід символу х1 в символ y3 ). Слід відрізняти цю ймовірність від ймовірності рn виникнення будь-якої помилки, яка дорівнює
. |
Оскільки канал симетричний в посиленому значенні є симетричним і в послабленому значенні, скористуємося виразом (3.14) , підставивши в нього ймовірності із першого рядка матриці (3.20):
. |
(3.21) |
Для біноміального каналу M = 2; 1 q = p, тому отримаємо
. |
(3.22) |
Розраховуючи С при значеннях р в інтервалі від 0 до 1, отримаємо залежність С від р, яку зображено на рис. 3.1. Аналізуючи цю
Рис.3.1. Графік залежності пропускної здатності від ймовірності помилки для біноміального каналу
залежність, бачимо, що при p = 0 пропускна здатність C чисельно дорівнює швидкості передачі символів. Через це іноді ці дві характеристики ототожнюють, що принципово не вірно. При збільшенні р від 0 до 0,5 пропускна здатність зменшується від до 0. При р = 0,5 передача інформації неможлива. Подальше збільшення р призводить до збільшення пропускної здатності, і при р = 1 маємо С = . Очевидно, що при р = 1 всі символи при передачі в каналі будуть інвертуватися ( і це відомо на приймальній стороні! ), тому для правильного прийому повідомлень всі символи на виході каналу треба піддавати інверсії.
Висновки
Контрольні питання (задачі)
3.3.1. Маємо трійковий стаціонарний канал без памяті та без витирання. Ймовірності p(xi, yk) сумісного виникнення символу xi на вході каналу та символу yk на його виході для різних варіантів наведені у другому стовпці таблиці 3.3.1. Знайти середню кількість I (Y, X ) інформації, що переноситься одним символом, швидкість передачі інформації по каналу та пропускну здатність C каналу. Чисельні значення швидкості v0 передачі символів по каналу ( в Бодах) наведені у третьому стовпці таблиці 3.3.1.
Таблиця 3.3.1
№ варіанта |
|
v0, Бод |
1 |
50 |
|
2 |
75 |
|
3 |
100 |
|
4 |
120 |
|
5 |
150 |
|
6 |
200 |
|
7 |
300 |
|
8 |
600 |
|
9 |
1200 |
|
10 |
2400 |
|
11 |
50 |
|
12 |
75 |
|
13 |
100 |
|
14 |
120 |
|
15 |
150 |
|
16 |
200 |
|
17 |
300 |
|
18 |
600 |
|
19 |
1200 |
|
20 |
2400 |
3.3.2. Розрахувати пропускну здатність C двійкового стаціонарного симетричного по входу каналу без памяті із витиранням. Вихідні дані, а саме, ймовірності
а також швидкість v0 передачі символів по каналу ( в Бодах) для різних варіантів наведені у таблиці 3.3.2.
Таблиця 3.3.2
№ варіанта |
q |
pП |
pВ |
v0 |
№ варіанта |
q |
pП |
pВ |
v0 |
1 |
0,90 |
0,02 |
0,08 |
100 |
11 |
0,90 |
0,03 |
0,07 |
200 |
2 |
0,87 |
0,01 |
0,12 |
120 |
12 |
0,95 |
0,01 |
0,04 |
300 |
3 |
0,95 |
0,01 |
0,04 |
150 |
13 |
0,87 |
0,03 |
0,10 |
600 |
4 |
0,88 |
0,03 |
0,09 |
200 |
14 |
0,84 |
0,04 |
0,12 |
1200 |
5 |
0,83 |
0,03 |
0,14 |
300 |
15 |
0,94 |
0,01 |
0,05 |
2400 |
6 |
0,80 |
0,02 |
0,18 |
600 |
16 |
0,81 |
0,02 |
0,17 |
50 |
7 |
0,92 |
0,02 |
0,06 |
1200 |
17 |
0,88 |
0,02 |
0,10 |
75 |
8 |
0,80 |
0,05 |
0,15 |
2400 |
18 |
0,86 |
0,03 |
0,11 |
100 |
9 |
0,91 |
0,01 |
0,08 |
50 |
19 |
0,93 |
0,01 |
0,06 |
120 |
10 |
0,88 |
0,02 |
0,10 |
75 |
20 |
0,89 |
0,01 |
0,10 |
150 |
3.3.3. Отримати чисельні значення ймовірностей спотворення t або більшої кількості символів в кодовій комбінації двійкового коду довжиною n при передачі її через біноміальний каналу, в якому символи спотворюються із ймовірністю р, та через двійковий канал з групуванням помилок, який описується моделлю Пуртова із таким же, як і для біноміального каналу, значенням середньої ймовірності помилки при передачі двійкового символу р та із коефіцієнтом групування . Вихідні дані для різних варіантів наведені у таблиці 3.3.3.
Таблиця 3.3.3
№ варіанта |
n |
t |
p |
№ варіанта |
n |
t |
p |
||
1 |
15 |
1 |
310 3 |
0,50 |
11 |
14 |
2 |
210 4 |
0,80 |
2 |
13 |
2 |
210 3 |
0,55 |
12 |
12 |
3 |
10 4 |
0,30 |
3 |
11 |
3 |
10 3 |
0,30 |
13 |
10 |
1 |
310 3 |
0,35 |
4 |
9 |
1 |
510 4 |
0,35 |
14 |
8 |
1 |
510 3 |
0,40 |
5 |
7 |
2 |
10 2 |
0,40 |
15 |
6 |
2 |
310 3 |
0,45 |
6 |
14 |
3 |
10 4 |
0,45 |
16 |
15 |
3 |
10 4 |
0,50 |
7 |
12 |
1 |
310 4 |
0,50 |
17 |
13 |
1 |
510 4 |
0,55 |
8 |
10 |
2 |
210 3 |
0,55 |
18 |
11 |
2 |
310 4 |
0,65 |
9 |
8 |
2 |
10 2 |
0,65 |
19 |
9 |
3 |
10 3 |
0,75 |
10 |
6 |
1 |
210 2 |
0,75 |
20 |
7 |
1 |
210 3 |
0,80 |
2 Кількість розміщень із n по m позначається як і обчислюється за наступною формулою: