Линейная модель связи

Источник информации

любой объект, порождающий сообщения, которые должны быть переданы во времени или пространстве.

Первичный преобразователь

сущность, воспринимающая информацию из источника информации и тем или иным образом её представляющая в виде данных.

Кодер

устройство, выполняющее кодирование

Кодирование

представление данных, выраженных некоторым алфавитом, некоторым другим алфавитом

Модулятор

устройство, преобразующее сообщения, формируемые кодером канала, в сигналы, согласованные с физической природой канала или средой хранения информации

Канал

некий физический канал связи, через который происходит передача данных от передающего устройства к принимающему.

Следует отметить, что “связь” здесь используется в достаточно широком смысле. В частности “каналом” может выступать устройство хранения, тогда “связь” описывает передачу информации не в пространстве, а во времени (“источник” находится в прошлом, а “получатель” – в будущем; не исключено что физически это один и тот же объект)

Источники сообщений

Рассмотрим произвольный источник сообщений. Каждое сообщение можно рассматривать как символ \(\xi\) некого алфавита \(A\). \(\xi\) – случайная дискретная величина.

Если размерность алфавита \(A\) конечна, т.е. \(2 \le |A| < \infty\), где \(|A|\) – количество символов в алфавите, то источник является дискретным источником. Иначе, если размерность \(A\) бесконечна – непрерывный источник.

В основном мы будем рассматривать дискретные источники.

Дискретный ансамбль

полная совокупность состояний с вероятностями их появления \(B = \{(\xi, P(\xi)) | \forall \xi \in A\}\)

Статистическая модель канала связи

Пусть канал связи может получать на вход сообщения из множества \(M = \{m_i\}\), и на выходе давать сигналы из множества \(R = \{r_j\}\). Вероятностная модель канала будет тогда задаваться совокупностью \(|M|\cdot |R|\) условных вероятностей \(\{P(r_j | m_j)\},\) задающих вероятность появления на выходе сигнала \(r_j\) при поступлении на вход сообщения \(m_j\).

Априорная вероятность сообщения

Вероятности появления сообщений на входе канала \(\{P(m_j)\}\) называются априорными вероятностями сообщений.

Действие канала может быть описано множеством элементарных событий \(\Omega = \{ m_i \} \times \{ r_j \}\). Вероятности этих событий, \[P(m_i r_j) = P(m_i) P(r_j | m_i).\]

По формуле полной вероятности: \[P(r_j) = \sum_{m_i\in M} P(m_i, r_j),\] \[P(m_i|r_j) = \frac{P(m_i,r_j)}{P(r_j)}.\]

Апостериорная вероятность

Условная вероятность исходного сообщения \(m_i\in M\) при обнаружении на выходе сигнала \(r_j \in R\), \(P(m_i|r_j)\), называется апостериорной.

Множество всех апостериорных вероятностей статистически описывает передаточные свойства канала связи. Те же свойства канала можно описывать канальной матрицей.

Канальная матрица приёмника

Матрица апостериорных вероятностей \[\mathbf{P} = [p_{ij} = P(m_i|r_j)]\]

Канальная матрица источника

Матрица вероятностей \[\mathbf{P} = [p_{ij} = P(r_j|m_i)]\]

Канальная матрица объединения

Матрица вероятностей \[\mathbf{P} = [p_{ij} = P(m_i r_j)]\]

В отличие от двух предыдущих полностью описывает канал

Основная задача теории связи. Статистически оптимальный приёмник

Основная задача теории связи заключается в описании приёмника, который по полученному сигналу \(r_j \in R\) принимает оптимальное (в смысле наиболее вероятного) решение относительно исходного сообщения \(m_i \in M\).

Иными словами, приёмник должен отображать пространство сигналов на выходе канала связи \(R\) на пространство сообщений на входе \(M\). Обозначим такой оператор отображения как \[\hat m : R \to M.\]

Тогда, при оптимальном выборе \(\hat m\), условная вероятность оптимального выбора исходного сообщения \(\xi\) при получении сигнала \(r_j\), \(P(\xi | r_j),\) будет совпадать с условной вероятностью \(P(\hat m(r_j) | r_j)\): \[P(\xi | r_j) = P(\hat m(r_j) | r_j).\]

\(P(\xi | r_j)\) принимает наибольшее значение, если в качестве \(\hat m (r_j)\) всегда выбирается сообщение, имеющее наибольшую апостериорную вероятность для данного \(r_j\). Оптимальность такого решения можно убедительно показать, вычислив безусловную вероятность оптимального выбора \(\xi\): \[P(\xi) = \sum_{j=1}^J P(\xi|r_j)P(r_j) = \sum_{j=1}^J P(\hat m(r_j) | r_j) P(r_j).\]

Поскольку \(P(r_j)\) не зависят от выбора \(\hat m\), вероятность выбора оптимального исходного сообщения \(P(\xi)\) принимает максимальное значение только тогда, когда все \(P(\xi|r_j)\) принимают максимальные значения.

Для выбора оптимального \(\hat m\) нам не требуется, вообще говоря, знать апостериорные вероятности \(P(m_i|r_j)\) или вероятности приёма сигналов \(P(r_j)\). Для выбора оптимального \(\hat m\) достаточно руководствоваться следующим принципом:

Выбор \(\hat m\) оптимален, если для любого сигнала \(r_j\), \(\hat m(r_j) = m_k\), где \(m_k\) – сообщение, обладающее наибольшей апостериорной вероятностью для сигнала \(r_j\), то есть, \[\forall i: P(m_k|r_j) \ge P(m_i|r_j).\] Это верно тогда и только тогда, когда \[\forall i: P(m_k)P(r_j|m_k)\ge P(m_i)P(r_j|m_i).\]

Иными словами, оптимальные значения \(\hat m(r_j) = m_k,\) такие, что \[P(m_k)P(r_j|m_k) = \underset{m_i\in M}\max(P(m_i)P(r_j|m_i)),\] или, эквивалентно, \[P(m_k r_j) = \underset{m_i\in M}\max(P(m_i r_j)),\]

Действительно, \[P(m_k|r_j) \ge P(m_i|r_j) \Leftrightarrow \] \[\frac{P(m_k, r_j)}{P(r_j)} \ge \frac{P(m_i,r_j)}{P(r_j)}\] Поскольку \(P(r_j) > 0\) (если \(P(r_j)=0\), то \(P(m_i|r_j)\) не определено), мы можем домножить обе части неравенства на \(P(r_j)\). Тогда, \[P(m_k, r_j) \ge P(m_i,r_j) \Leftrightarrow\] \[P(m_k) P(r_j | m_k) \ge P(m_k) P(r_j | m_i)\]