Модель и пропускная способность канала связи без помех.

● Модель дискретного канала связи без помех

Изобразим схематически дискретный канал передачи информации без помех, как показано на рисунке 4.2.

Рисунок 4.2 – Схема дискретного канала передачи информации без помех.

 

Источник информации имеет N состояний с вероятностями этих состояний P(X_i). Состояния приемника Y в точности повторяют состояния передатчика X. В связи с этим количество фактически переданной по каналу связи информации будет в точности равным количеству производимой источником информации. Отсутствие помех в канале связи позволяет кодировать сообщения оптимальным двоичным кодом Шеннона–Фано.

 

● Скорость передачи кодовых слов

Назовём число пропускаемых каналом связи элементарных символов (букв) в единицу времени технической скоростью передачи L₀, причем:

[L₀] = [букв/сек].

Представляет интерес также такая характеристика канала, как передаваемое по нему среднее количество слов в единицу времени.

Среднее число букв L_ср, приходящееся на одно состояние источника и, следовательно, на одно кодовое слово, не может быть меньше, чем величина:

,

где H(U) – энтропия, приходящаяся на одно состояние источника, m – число букв в алфавите кода, log m – максимальное количество информации, которое может перенести одна буква.

Отсюда следует, что скорость передачи кодовых слов V не может быть больше, чем отношение

.

Причем, как это следует из фундаментальной теоремы о кодировании, кодируя достаточно длинными блоками можно сделать реальные величины  L_ср и V как угодно близкими к теоретическим L_min и V_max.

 

● Пропускная способность дискретного канала связи без помех

 

В числителе полученного выражения

C₀ = L₀ · log m

множитель log m представляет собой максимально возможное количество информации, которое может перенести одна буква алфавита, если появление букв в тексте сообщения равновероятно. Очевидно, что, будучи умноженным на техническую скорость передачи букв, этот множитель дает максимально возможное количество информации, которое может быть передано по каналу связи в единицу времени.

   В связи с этим величина

C₀ = L₀ · log m [бит/сек]

называется пропускной способностью дискретного канала связи без помех.

Размерность C₀ получена следующим образом:

Знаменатель, будучи энтропией источника информации, тем самым отражает его информационную производительность, которая зависит от вероятностных характеристик сообщений.

 

● Теорема Шеннона о пропускной способности канала связи без помех

 Теорема Шеннона. «Если пропускная способность канала связи С₀ больше энтропии источника информации, приходящейся в среднем на единицу времени, то есть

С₀ > k · H(U),

где k - число смен состояний источника информации в единицу времени, то всегда можно осуществить кодирование сообщений достаточно длинными блоками так, чтобы сообщения передавались каналом связи без задержек.

Если же, напротив,

С₀ < k · H(U),

то передача без задержек невозможна».

 

● Принцип определения объема необходимой памяти кодера

Оценим объем памяти кодера, необходимый для такой передачи.

Допустим, что передача содержит всего n слов, причем из них m слов длиной 2 буквы и (n-m) слов длиной 1 буква.

Число букв, отправляемых в память, равно (0,5m) букв при технической скорости L₀ = 1,5 буквы/сек. Число пробелов, а следовательно, число букв, извлекаемых из памяти, равно 0,5(n-m) букв. Другими словами, когда приходит длинное слово, в память посылается (0,5m) букв, а когда приходит короткое слово, из памяти извлекается 0,5(n-m) букв.

В результате чего число букв накопленных в памяти равно:

Рассмотрим два крайних случая:

   1. Если все слова короткие, то есть:

,

тогда длина памяти равна:

,

что означает необходимость полного отсутствия памяти.

2. Если все слова длинные, то есть:

,

тогда необходимый объем памяти равен:

.

Таким образом, чтобы гарантировать отсутствие переполнения памяти кодера, в любом случае необходимо выбрать ее в объеме числа букв, равного половине числа слов в сообщении. Учитывая небольшую вероятность появления в сообщении только слов длиной 2 буквы, можно уменьшить объем памяти.