Теорема Шеннона — Хартли

Теорема Шеннона — Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли.

Утверждение теоремы

Рассматривая все возможные многоуровневые и многофазные методы шифрования, теорема Шеннона — Хартли утверждает, что пропускная способность канала <math>C</math>, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала <math>S</math> через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности <math>N</math> равна:

<math>C=B\log_2\left(1+\frac{S}{N}\right),</math>

где

<math>C</math> — пропускная способность канала, бит/с;

<math>B</math> — полоса пропускания канала, Гц;

<math>S</math> — полная мощность сигнала над полосой пропускания, Вт или В²;

<math>N</math> — полная шумовая мощность над полосой пропускания, Вт или В²;

<math>S/N</math> — отношение мощности сигнала к шуму (SNR).

История развития

В течение конца 1920-х гг. Гарри Найквист и Ральф Хартли разработали фундаментальные идеи, связанные с передачей информации, с помощью телеграфа как системы коммуникаций. В то время, это был прорыв, но науки как таковой не существовало. В 1940-х гг., Клод Шеннон ввёл понятие пропускной способности канала, которое базировалось на идеях Найквиста и Хартли, а затем сформулировал полную теорию передачи информации.

Критерий Найквиста

В 1927 году Найквист установил, что число независимых импульсов в единицу времени, которые могут быть переданы через телеграфный канал, ограничено удвоенной максимальной частотой пропускания канала (этой частоте соответствует чередующаяся последовательность нулей и единиц, остальные комбинации сигналов соответствуют более низким частотам)

<math>f_p\leqslant 2B,</math>

где <math>f_p</math> — частота импульса (имп/с), и <math>B</math> — полоса пропускания (Гц).

Теоремы Шеннона для канала с шумами

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Если скорость передачи сообщений меньше пропускной способности канала связи

<math>R<C,</math>

то существуют коды и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности.

Если же

<math>R>C,</math>

то кода, на основе которого можно добиться сколько угодной малой вероятности возникновения ошибки, не существует.

Теорема Шеннона — Хартли

В данной теореме определено, что достичь максимальной скорости (бит/с) можно путём увеличения полосы пропускания и мощности сигнала и, в то же время, уменьшения шума.

Теорема Шеннона — Хартли ограничивает информационную скорость (бит/с) для заданной полосы пропускания и отношения «сигнал/шум». Для увеличения скорости необходимо увеличить уровень полезного сигнала, по отношению к уровню шума.

Если бы существовала бесконечная полоса пропускания, бесшумовой аналоговый канал, то можно было бы передать неограниченное количество безошибочных данных по ней за единицу времени. Реальные каналы имеют ограниченные размеры и в них всегда присутствует шум.

Удивительно, но не только ограничения полосы пропускания влияют на количество передаваемой информации. Если мы комбинируем шум и ограничения полосы пропускания, мы действительно видим, что есть предел количества информации, которую можно было передать, даже используя многоуровневые методы кодирования. В канале, который рассматривает теорема Шеннона — Хартли, шум и сигнал дополняют друг друга. Таким образом, приёмник воспринимает сигнал, который равен сумме сигналов, кодирующего нужную информацию и непрерывную случайную, которая представляет шум.

Это дополнение создает неуверенность относительно ценности оригинального сигнала. Если приёмник обладает информацией о вероятности ненужного сигнала, который создает шум, то можно восстановить информацию в оригинальном виде, рассматривая все возможные влияния шумового процесса. В случае теоремы Шеннона — Хартли шум, как таковой, произведен гауссовским процессом с некоторыми отклонениями в канале передачи. Такой канал называют совокупным белым гауссовским шумовым каналом, так как гауссовский шум является частью полезного сигнала. «Белый» подразумевает равное количество шума во всех частотах в пределах полосы пропускания канала. Такой шум может возникнуть при воздействии случайных источников энергии, а также быть связан с ошибками, возникшими при кодировании. Знание о вероятности возникновения гауссовского шума значительно упрощает определение полезного сигнала.

Значение теоремы

Пропускная способность канала и формула Хартли

Сравнивая пропускную способность канала и формулу Хартли, мы можем найти эффективное число <math>M</math> различимых уровней:

<math>2B\log_2 M=B\log_2\left(1+\frac{S}{N}\right),</math>

<math>M=\sqrt{1+\frac{S}{N}}.</math>

Взятие квадратного корня по сути возвращает отношение мощностей к отношению напряжений, таким образом число уровней приблизительно равно отношению среднеквадратичной амплитуды сигнала к шумовому стандартному отклонению. Это подобие в форме между пропускной способностью по Шеннону и формулой Хартли не стоит понимать буквально, что для безошибочной передачи достаточно <math>M</math> уровней сигнала. Избыточное кодирование для устранения ошибок потребует большего числа уровней, но предельная скорость передачи данных, к которой можно приблизиться с кодированием, эквивалентна использованию того самого <math>M</math> из формулы Хартли.

См. также

• Теорема Котельникова

Отрывок, характеризующий Теорема Шеннона — Хартли

«Но отчего же мне не сказать, что я видела? Ведь видят же другие! И кто же может уличить меня в том, что я видела или не видала?» мелькнуло в голове Сони.
– Да, я его видела, – сказала она.
– Как же? Как же? Стоит или лежит?
– Нет, я видела… То ничего не было, вдруг вижу, что он лежит.
– Андрей лежит? Он болен? – испуганно остановившимися глазами глядя на подругу, спрашивала Наташа.
– Нет, напротив, – напротив, веселое лицо, и он обернулся ко мне, – и в ту минуту как она говорила, ей самой казалось, что она видела то, что говорила.
– Ну а потом, Соня?…
– Тут я не рассмотрела, что то синее и красное…
– Соня! когда он вернется? Когда я увижу его! Боже мой, как я боюсь за него и за себя, и за всё мне страшно… – заговорила Наташа, и не отвечая ни слова на утешения Сони, легла в постель и долго после того, как потушили свечу, с открытыми глазами, неподвижно лежала на постели и смотрела на морозный, лунный свет сквозь замерзшие окна.


Вскоре после святок Николай объявил матери о своей любви к Соне и о твердом решении жениться на ней. Графиня, давно замечавшая то, что происходило между Соней и Николаем, и ожидавшая этого объяснения, молча выслушала его слова и сказала сыну, что он может жениться на ком хочет; но что ни она, ни отец не дадут ему благословения на такой брак. В первый раз Николай почувствовал, что мать недовольна им, что несмотря на всю свою любовь к нему, она не уступит ему. Она, холодно и не глядя на сына, послала за мужем; и, когда он пришел, графиня хотела коротко и холодно в присутствии Николая сообщить ему в чем дело, но не выдержала: заплакала слезами досады и вышла из комнаты. Старый граф стал нерешительно усовещивать Николая и просить его отказаться от своего намерения. Николай отвечал, что он не может изменить своему слову, и отец, вздохнув и очевидно смущенный, весьма скоро перервал свою речь и пошел к графине. При всех столкновениях с сыном, графа не оставляло сознание своей виноватости перед ним за расстройство дел, и потому он не мог сердиться на сына за отказ жениться на богатой невесте и за выбор бесприданной Сони, – он только при этом случае живее вспоминал то, что, ежели бы дела не были расстроены, нельзя было для Николая желать лучшей жены, чем Соня; и что виновен в расстройстве дел только один он с своим Митенькой и с своими непреодолимыми привычками.
Отец с матерью больше не говорили об этом деле с сыном; но несколько дней после этого, графиня позвала к себе Соню и с жестокостью, которой не ожидали ни та, ни другая, графиня упрекала племянницу в заманивании сына и в неблагодарности. Соня, молча с опущенными глазами, слушала жестокие слова графини и не понимала, чего от нее требуют. Она всем готова была пожертвовать для своих благодетелей. Мысль о самопожертвовании была любимой ее мыслью; но в этом случае она не могла понять, кому и чем ей надо жертвовать. Она не могла не любить графиню и всю семью Ростовых, но и не могла не любить Николая и не знать, что его счастие зависело от этой любви. Она была молчалива и грустна, и не отвечала. Николай не мог, как ему казалось, перенести долее этого положения и пошел объясниться с матерью. Николай то умолял мать простить его и Соню и согласиться на их брак, то угрожал матери тем, что, ежели Соню будут преследовать, то он сейчас же женится на ней тайно.
Графиня с холодностью, которой никогда не видал сын, отвечала ему, что он совершеннолетний, что князь Андрей женится без согласия отца, и что он может то же сделать, но что никогда она не признает эту интригантку своей дочерью.
Взорванный словом интригантка , Николай, возвысив голос, сказал матери, что он никогда не думал, чтобы она заставляла его продавать свои чувства, и что ежели это так, то он последний раз говорит… Но он не успел сказать того решительного слова, которого, судя по выражению его лица, с ужасом ждала мать и которое может быть навсегда бы осталось жестоким воспоминанием между ними. Он не успел договорить, потому что Наташа с бледным и серьезным лицом вошла в комнату от двери, у которой она подслушивала.
– Николинька, ты говоришь пустяки, замолчи, замолчи! Я тебе говорю, замолчи!.. – почти кричала она, чтобы заглушить его голос.
– Мама, голубчик, это совсем не оттого… душечка моя, бедная, – обращалась она к матери, которая, чувствуя себя на краю разрыва, с ужасом смотрела на сына, но, вследствие упрямства и увлечения борьбы, не хотела и не могла сдаться.
– Николинька, я тебе растолкую, ты уйди – вы послушайте, мама голубушка, – говорила она матери.
Слова ее были бессмысленны; но они достигли того результата, к которому она стремилась.
Графиня тяжело захлипав спрятала лицо на груди дочери, а Николай встал, схватился за голову и вышел из комнаты.
Наташа взялась за дело примирения и довела его до того, что Николай получил обещание от матери в том, что Соню не будут притеснять, и сам дал обещание, что он ничего не предпримет тайно от родителей.
С твердым намерением, устроив в полку свои дела, выйти в отставку, приехать и жениться на Соне, Николай, грустный и серьезный, в разладе с родными, но как ему казалось, страстно влюбленный, в начале января уехал в полк.
После отъезда Николая в доме Ростовых стало грустнее чем когда нибудь. Графиня от душевного расстройства сделалась больна.
Соня была печальна и от разлуки с Николаем и еще более от того враждебного тона, с которым не могла не обращаться с ней графиня. Граф более чем когда нибудь был озабочен дурным положением дел, требовавших каких нибудь решительных мер. Необходимо было продать московский дом и подмосковную, а для продажи дома нужно было ехать в Москву. Но здоровье графини заставляло со дня на день откладывать отъезд.
Наташа, легко и даже весело переносившая первое время разлуки с своим женихом, теперь с каждым днем становилась взволнованнее и нетерпеливее. Мысль о том, что так, даром, ни для кого пропадает ее лучшее время, которое бы она употребила на любовь к нему, неотступно мучила ее. Письма его большей частью сердили ее. Ей оскорбительно было думать, что тогда как она живет только мыслью о нем, он живет настоящею жизнью, видит новые места, новых людей, которые для него интересны. Чем занимательнее были его письма, тем ей было досаднее. Ее же письма к нему не только не доставляли ей утешения, но представлялись скучной и фальшивой обязанностью. Она не умела писать, потому что не могла постигнуть возможности выразить в письме правдиво хоть одну тысячную долю того, что она привыкла выражать голосом, улыбкой и взглядом. Она писала ему классически однообразные, сухие письма, которым сама не приписывала никакого значения и в которых, по брульонам, графиня поправляла ей орфографические ошибки.