Вероятностно - статистические модели сообщений и их свойства
Линейная модель связи
![]()
- Источник информации
- любой объект, порождающий сообщения, которые должны быть переданы во времени или пространстве.
- Первичный преобразователь
- сущность, воспринимающая информацию из источника информации и тем или иным образом её представляющая в виде данных.
- Кодер
- устройство, выполняющее кодирование
- Кодирование
- представление данных, выраженных некоторым алфавитом, некоторым другим алфавитом
- Модулятор
- устройство, преобразующее сообщения, формируемые кодером канала, в сигналы, согласованные с физической природой канала или средой хранения информации
- Канал
- некий физический канал связи, через который происходит передача данных от передающего устройства к принимающему.
Следует отметить, что “связь” здесь используется в достаточно широком смысле. В частности “каналом” может выступать устройство хранения, тогда “связь” описывает передачу информации не в пространстве, а во времени (“источник” находится в прошлом, а “получатель” – в будущем; не исключено что физически это один и тот же объект)
Источники сообщений
- произвольный источник
- сообщение можно рассматривать как символ \(\xi\) некого алфавита \(A\)
- \(\xi\) – случайная дискретная величина
- Если размерность \(A\) конечна, т.е. \(2 \le |A| < \infty\), где \(|A|\) – количество символов в алфавите, то источник является дискретным источником.
- Иначе – непрерывный источник.
- В основном будем рассматривать дискретные источники.
- Дискретный ансамбль
- полная совокупность состояний с вероятностями их появления \(B = \{(\xi, P(\xi)) | \forall \xi \in A\}\)
Статистическая модель канала связи
- Пусть канал связи может получать на вход сообщения из множества \(M = \{m_i\}\), и на выходе давать сигналы из множества \(R = \{r_j\}\)
- Вероятностная модель канала задаётся совокупностью \(|M|\cdot |R|\) условных вероятностей \(\{P(r_j | m_j)\},\) задающих вероятность появления на выходе сигнала \(r_j\) при поступлении на вход сообщения \(m_j\).
- Априорная вероятность сообщения
- Вероятности появления сообщений на входе канала \(\{P(m_j)\}\) называются априорными вероятностями сообщений.
- Действие канала описывается множеством элементарных событий \(\Omega = \{ m_i \} \times \{ r_j \}\). Вероятности этих событий, \[P(m_i r_j) = P(m_i) P(r_j | m_i).\]
- По формуле полной вероятности: \[P(r_j) = \sum_{m_i\in M} P(m_i, r_j),\] \[P(m_i|r_j) = \frac{P(m_i,r_j)}{P(r_j)}.\]
- Апостериорная вероятность
- Условная вероятность исходного сообщения \(m_i\in M\) при обнаружении на выходе сигнала \(r_j \in R\), \(P(m_i|r_j)\), называется апостериорной.
- Множество всех апостериорных вероятностей статистически описывает передаточные свойства канала связи. Те же свойства канала можно описывать канальной матрицей.
- Канальная матрица приёмника
- \[\mathbf{P} = [p_{ij} = P(m_i|r_j)]\]
- Канальная матрица источника
- \[\mathbf{P} = [p_{ij} = P(r_j|m_i)]\]
- Канальная матрица объединения
- \[\mathbf{P} = [p_{ij} = P(m_i r_j)]\]
- В отличие от двух предыдущих полностью описывает канал
Основная задача теории связи. Статистически оптимальный приёмник
- Основная задача теории связи – описание приёмника, который по полученному сигналу \(r_j \in R\) принимает оптимальное (наиболее вероятное) решение относительно исходного сообщения \(m_i \in M\).
- Иными словами, приёмник должен отображать пространство сигналов на выходе канала связи \(R\) на пространство сообщений на входе \(M\). Обозначим такой оператор отображения как
- \[\hat m : R \to M.\]
- При оптимальном выборе \(\hat m\), условная вероятность выбора исходного сообщения \(\xi\) при получении сигнала \(r_j\), \(P(\xi | r_j),\) будет совпадать с условной вероятностью \(P(\hat m(r_j) | r_j)\):
- \[P(\xi | r_j) = P(\hat m(r_j) | r_j).\]
- \[P(\xi | r_j) = P(\hat m(r_j) | r_j).\]
- \(P(\xi | r_j)\) принимает наибольшее значение, если в качестве \(\hat m (r_j)\) всегда выбирается сообщение, имеющее наибольшую апостериорную вероятность для данного \(r_j\).
- Чтобы показать оптимальность, вычислим безусловную вероятность оптимального выбора \(\xi\): \[P(\xi) = \sum_{j=1}^J P(\xi|r_j)P(r_j) = \sum_{j=1}^J P(\hat m(r_j) | r_j) P(r_j).\]
- \(P(r_j)\) не зависят от выбора \(\hat m\), следовательно \(P(\xi)\) максимально только тогда, когда все \(P(\xi|r_j)=P(\hat m(r_j) | r_j)\) максимальны.
- Для выбора оптимального \(\hat m\) не требуется, вообще говоря, знать \(P(m_i|r_j)\) или \(P(r_j)\). Достаточно руководствоваться следующим принципом:
- Выбор \(\hat m\) оптимален, если \(\forall r_j: \hat m(r_j) = m_k\), где \(m_k = m_k(r_j)\) – сообщение, обладающее наибольшей апостериорной вероятностью для сигнала \(r_j\), то есть, \[\forall i: P(m_k|r_j) \ge P(m_i|r_j).\]
- \[\iff \forall i: P(m_k)P(r_j|m_k)\ge P(m_i)P(r_j|m_i).\]
- Почему?
- \[\iff \forall i: P(m_k)P(r_j|m_k)\ge P(m_i)P(r_j|m_i).\]
- оптимальные значения \(\hat m(r_j) = m_k,\) такие, что \[P(m_k)P(r_j|m_k) = \underset{m_i\in M}\max(P(m_i)P(r_j|m_i)),\]
- эквивалентно, \[P(m_k r_j) = \underset{m_i\in M}\max(P(m_i r_j)),\]
