Первая теорема Шеннона и его практическое значение.

1теорема.

Для любой передачи кодировки существует оптимальная система кодирования, при которой энтропия на один двоичный символ равна энтропии источника. (S,а_i1…..а_in)

Пример:

05504407704=1,94 код

0-повтор. 5- символ 5-количество

 

P­_ilog=P_i

Доп информация: если пропускная способность канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условие C_k> V_u,

то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т.е. если C_k< V_u Такого способа нет

Вторая теорема Шеннона

При передачи информации с помехами, существует система кодирования с избыточным кодом, которая позволяет добиться достоверности передачи данных. Для дискретного канала с помехами теорема утверждает, что, если скорость создания сообщений меньше или равна пропускной способности канала, то существует код, обеспечивающий передачу со сколь угодно малой частотой ошибок.

аа сс

* вероятность

Доп. Инфа. Эта теорема не дает конкретного метода построения кода, но указывает на пределы достижимого в области помехоустойчивого кодирования, стимулирует поиск новых путей решения этой проблемы.

Алгебра высказываний.

-является составной частью одного из современных быстро развивающихся разделов математики – математической логики

отрицание (унарная операция) »Не»

конъюнкция (бинарная) «и»

дизъюнкция (бинарная) «Или»

X- Логическая переменная

 

1) Коммутативность: x&y = y&x, AUB=BUA

2) Идемпотентность: x&x = x, AUA=A

3) Дистрибутивность конъюнкций и дизъюнкции относительно дизъюнкции, конъюнкции и суммы по модулю два соответственно:

A & (B U C)=(A & B) U (A & C)

A U (B & C)=(A U B) & (A U C)

4)не A=A

 

5) Законы поглощения:

,

.

 

6) Законы де Мо́ргана:

,

.

(y&z) U (y&z) U (x&z) U (x&Z)=

(y & (z U z)) U (x &(z U z)=Y U X

x	y	X&Y	XUY	X

 

 

8. таблица истинности.

1. Конъюнкция (логическое умножение) – сложное логическое выражение, которое является истинным только в том случае, когда истинны оба входящих в него простых выражения.

Обозначение:

2. Дизъюнкция (логическое сложение) – это сложное логическое выражение, которое истинно, если хотя бы одно из простых логических выражений истинно и ложно, если оба простых логических выражения ложны.

Обозначение:

3. Импликация (логическое следствие) – это сложное логическое выражение, которое является ложным тогда и только тогда, когда условие истинно, а следствие ложно.

Обозначение:

4. Эквиваленция – это сложное логическое высказывание, которое является истинным только при одинаковых значениях истинности простых выражений, входящих в него.

Обозначение:

5. Логическое отрицание (инверсия) делает истинное высказывание ложным и, наоборот, ложное – истинным.

Обозначение:

6. Штрих Шеффера – операция, отрицающая конъюнкцию, т.е. значение ложно тогда и только тогда, когда оба простых выражения истинны.

Обозначение:

7. Стрелка Пирса – операция, отрицающая конъюнкцию, т.е. значение истинно тогда и только тогда, когда оба простых выражения ложны.

Обозначение:

Тофтология.

-это логическая формула, которая высказывает при любых значениях аргумент 1 (истина)

Противоречие.

-это логическая форма, которая принимает ложное значение(0) при любых значения аргументов.

A&не(А)=0

Дедукция.

-это метод получения истинного высказывания из одной группы истинных высказываний(А,В,С.)

 

A- Пётр переутомился

B- Петр болен

С-Петрраздражается

 

AUB, A=>B, C. A=>C

 

A=>C C=>A

 

C, C =>AA

A U B= A => B

 

A, A U B B A U B= A => B

 

Теорема Котельникова.

вместо передачи непрерывного аналогового сигнала можно передавать соответствующий ему дискретный сигнал.

Формулировка теоремы: непрерывный сигнал, спектр которого не содержит частот больших fm может быть однозначно представлен своими мгновенными значениями (выборками), разделёнными одинаковыми интервалами времени, длина которых не должна превышать 1/2fm.

Полученный дискретный сигнал может быть передан по каким-либо линиям связи и из него фильтром нижних частот на стороне приёмника может быть однозначно восстановлен исходный аналоговый сигнал.

Основополагающая теорема для систем цифровой обработки сигналов, телекоммуникаций, а также теории связи.

Доп инфа.

Другими словами период дискретизации должен хотя бы в два раза меньше периода наивысшей частотной составляющей спектра непрерывного сигнала, т.е. на каждый период наивысшей частотной составляющей должно приходиться по крайней мере два отсчёта (выборки).определяет также, что в непрерывном сигнале и соответствующем ему дискретном сигнале, полученном по приведённым выше правилам, содержится одинаковая информация, поэтому представление одного из этих двух сигналов другим является взаимно-однозначным.