Математическая теория связи (статья)

Поделись знанием:
Перейти к: навигация, поиск
Математическая теория связи
A Mathematical Theory of Communication
Жанр:

Научная статья

Автор:

Клод Шеннон

Язык оригинала:

английский

Дата первой публикации:

1948 год

«Математическая теория связи» (англ. A Mathematical Theory of Communication) — статья, опубликованная Клодом Шенноном в 1948 году в реферативном журнале американской телефонной компании «Bell System»[1] и сделавшая его всемирно известным. Содержа в себе большое количество инновационных и плодотворных идей, эта работа инициировала многие научные исследования по всему миру, продолжающиеся по сей день, положив начало развитию методов обработки передачи и хранения информации.





Об авторе

Клод Э́лвуд Ше́ннон (англ. Claude Elwood Shannon) — американский математик и инженер, основатель теории информации, автор многих книг и статей по кибернетике.

История

Само понятие теории информации появилось задолго до публикации этой статьи. Множество авторов своими работами закладывали фундамент новой теории. Например, в том же журнале компании «Bell System» в 1924 году была публикация Найквиста, содержащая в себе некоторые положения, лежащие в основе данной статьи[2].

Шеннон при публикации не считал, что делает открытие. Он во многом опирался на опыт предшественников; в самом начале статьи он написал, что «Некоторые основные положения этой теории имеются в важных работах Найквиста и Хартли. В настоящей статье мы расширим теорию с тем, чтобы включить некоторое число новых факторов, в частности, влияние шума в канале».

Содержание

Шеннон обобщил идеи Хартли, используя понятие «информации», содержащейся в передаваемых по каналу связи сообщениях. Само понятие он не разъясняет, только упоминает, что сообщения могут иметь некое «значение», то есть относиться к системе, имеющей свою физическую или умозрительную сущность. Также он начал рассматривать непрерывные множества сообщений, а не только конечные. Его работа позволила решить основные задачи теории информации: кодирование, передачу сообщений и устранение избыточности; также исследовалась помехоустойчивость.

В книге вводится логарифмическая функция как мера информации, и показывается её удобство:

  1. Она удобна практически. Параметры, важные в инженерных приложениях — такие, как время, пропускная способность, число переключателей и так далее — обычно меняются линейно при логарифмическом изменении числа возможных вариантов. К примеру, добавление одного переключателя удваивает число возможных состояний их группы, увеличивая на единицу его логарифм по основанию 2. Увеличение в два раза времени приводит к квадратичному росту числа сообщений, или удвоению их логарифма, и так далее.
  2. Она близка к нашему интуитивному представлению о такой мере. Это тесно связано с предыдущим пунктом, так как мы интуитивно измеряем величины, линейно сравнивая их со стандартами. Так, нам кажется, что на двух перфокартах можно разместить в два раза больше информации, а по двум одинаковым каналам — передать её в два раза больше.
  3. Она удобна математически. Многие предельные переходы просты в логарифмах, в то время как в терминах числа вариантов они достаточно нетривиальны.

Также вводится понятие обобщённой системы связи, состоящей из источника информации, передатчика, канала, приемника и пункта назначения. Шеннон разделяет все системы на дискретные, непрерывные и смешанные.

Влияние на различные направления науки

Много времени спустя после своего появления, вопреки распространенному мнению, эта работа Шеннона была почти безвестной. Вот что пишет, например, по этому поводу академик А. Н. Колмогоров:

— Мне вспоминается, что ещё на международном съезде математиков в Амстердаме (1954 г.) мои американ­ские коллеги, специалисты по теории вероятностей, счи­тали мой интерес к работам Шеннона несколько пре­увеличенным, так как это более техника, чем математика.

Но постепенно ученые из различных областей науки стали проявлять к статье все больший интерес. Сейчас трудно назвать область человеческих знаний, в которой замечательную формулу не пытались бы так или иначе применить. Количество публикаций росло, что не могло не вызвать ответной реакции со стороны самого Шеннона, так как изначально эта мера предназначалась только для сугубо прикладных задач техники связи. В 1956 году он опубликовал коротенькую статью «Бандвагон», в которой горячо призывал писать скромнее о теории информации, не считать эту теорию всемогущей и универсальной, не преувеличивать её значения:

Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом. Здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи не­скольких магических слов, таких, как «информация», «энтропия», «избыточность», нельзя решить всех нерешённых проблем.

В результате появилось два понятия — «теория информации» и «теория передачи информации». Первая определяет такие фундаментальные понятия, как «количество информации», и применяется для решения самых разнообразных проблем различных разделов науки. Вторая — уже своим названием отражает адекватную сферу применения её идей[6].

С развитием теории передачи информации стали сталкиваться с проблемой поиска надежных методов кодирования и декодирования. Это привело к появлению нового большого раздела теории передачи информации — теории кодирования. Мы знаем, что во-первых из шенноновской теории информации следовал тот важный вывод, что построение слишком хороших каналов является расточительством; экономически выгоднее использовать кодирование. Во вторых, из-за того, что основная теорема кодирования Шеннона не конструктивна, то есть она лишь доказывает существование оптимального помехоустойчивого кода, обеспечивающего предельное согласование сигнала с каналом, только обосновывает принципиальную возможность построения помехоустойчивых кодов, обеспечивающих идеальную передачу, но не указывает способ их построения. В итоге теория Шеннона мобилизовала усилия ученых на разработку конкретных кодов.[7]

В пятидесятые годы много усилий было потрачено на попытки построения в явном виде классов кодов, позволяющих получить обещанную сколь угодно малую вероятность ошибки, но результаты были скудными. В следующем десятилетии решению этой увлекательной задачи уделялось меньше внимания; вместо этого исследователи кодов предприняли длительную атаку по двум основным направлениям:

  • первое направление носило чисто алгебраический характер и преимущественно рассматривало блоковые (линейные) коды.
  • второе направление исследований по кодированию носило скорее вероятностный характер. С этими исследованиями были связаны попытки понять кодирование и декодирование с вероятностной точки зрения, и эти попытки привели к появлению последовательного декодирования.

В последовательном декодировании вводится класс неблоковых кодов бесконечной длины, которые можно описать деревом и декодировать с помощью алгоритмов поиска по дереву. Наиболее полезными древовидными кодами являются коды с тонкой структурой, известные под названием свёрточных кодов[8].

Также в семидесятых годах в связи с возникшими техническими трудностями стала активно развиваться теория алгоритмов. Необходимо было разработать алгоритмы для сжатия данных, подлежащих передаче. Впоследствии стали разрабатывать алгоритмы для сжатия данных в банках информации, сжатия изображений для передачи по коаксиальному кабелю и другие.

Настоящее время

Сегодня теория передачи информации — комплексная, в основном математическая теория, включающая в себя описание и оценки методов извлечения, передачи, хранения и классификации информации. Состоит из теории кодирования, алгоритмов и многих других.

  • В развитии теории кодирования достигнуты большие успехи. Появилось много различных помехоустойчивых кодов, отличающихся друг от друга основанием, расстоянием, избыточностью, структурой, функциональным назначением, энергетической эффективностью, корреляционными свойствами, алгоритмами кодирования и декодирования, формой частотного спектра (см. Помехоустойчивое кодирование).
  • В наше время практические рекомендации, полученные на основе теории алгоритмов, имеют большой успех в области проектирования и разработки программных систем[9].

Сама статья по-прежнему сохраняет актуальность, являясь основополагающей для многих работ.

Напишите отзыв о статье "Математическая теория связи (статья)"

Литература

  • Оригинал статьи: Shannon C. E. [cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A Mathematical Theory of Communication] (англ.) // Bell System Technical Journal[en] : журнал. — 1948. — Vol. 27. — P. 379—423.
  • Русский перевод: Шеннон К. Э. Математическая теория связи // [padabum.com/data/Криптография/Работы%20по%20теории%20информации%20и%20кибернетике%20(1963)%20-%20Шеннон.pdf Работы по теории информации и кибернетике] / Пер. С. Карпова. — М.: ИИЛ, 1963. — 830 с.

Ссылки

  1. Shannon, 1948.
  2. Nyquist, H. (1924). «[archive.org/stream/bell00systemtechniamervol3rich#page/324 Certain factors affecting telegraph speed]». Bell System Technical Journal 3: 22:324—346.
  3. Шеннон, 1963, с. 243—322.
  4. Шеннон, 1963, с. 5.
  5. Шеннон К. Э. «[www.vbvvbv.narod.ru/bandwagon.htm Бандвагон]»
  6. д.ф-м.н. Р. Л. Добрушин, д.т. н. Б. С. Цыбаков «[www.cpt.univ-mrs.fr/dobrushin/papers/82.pdf Теория передачи информации]», в сборнике «Вестник АН СССР». — 1976, с. 76—81
  7. Кузьмин И. В. «[www.ngpedia.ru/cgi-bin/getpage.exe?cn=49&uid=0.983893980039284&inte=3 Основы теории информации и кодирования]», 1986 г. — 240 с.
  8. Кинегин С. В. «[kunegin.com/ref3/code/page1.htm История кодирования, контролирующего ошибки]»
  9. Еремеевый Ф. «[th-algoritmov.narod.ru/ Теория алгоритмов]»

Отрывок, характеризующий Математическая теория связи (статья)

Проснувшись на другой день после своего возвращения в Москву и свидания с графом Растопчиным, Пьер долго не мог понять того, где он находился и чего от него хотели. Когда ему, между именами прочих лиц, дожидавшихся его в приемной, доложили, что его дожидается еще француз, привезший письмо от графини Елены Васильевны, на него нашло вдруг то чувство спутанности и безнадежности, которому он способен был поддаваться. Ему вдруг представилось, что все теперь кончено, все смешалось, все разрушилось, что нет ни правого, ни виноватого, что впереди ничего не будет и что выхода из этого положения нет никакого. Он, неестественно улыбаясь и что то бормоча, то садился на диван в беспомощной позе, то вставал, подходил к двери и заглядывал в щелку в приемную, то, махая руками, возвращался назад я брался за книгу. Дворецкий в другой раз пришел доложить Пьеру, что француз, привезший от графини письмо, очень желает видеть его хоть на минутку и что приходили от вдовы И. А. Баздеева просить принять книги, так как сама г жа Баздеева уехала в деревню.
– Ах, да, сейчас, подожди… Или нет… да нет, поди скажи, что сейчас приду, – сказал Пьер дворецкому.
Но как только вышел дворецкий, Пьер взял шляпу, лежавшую на столе, и вышел в заднюю дверь из кабинета. В коридоре никого не было. Пьер прошел во всю длину коридора до лестницы и, морщась и растирая лоб обеими руками, спустился до первой площадки. Швейцар стоял у парадной двери. С площадки, на которую спустился Пьер, другая лестница вела к заднему ходу. Пьер пошел по ней и вышел во двор. Никто не видал его. Но на улице, как только он вышел в ворота, кучера, стоявшие с экипажами, и дворник увидали барина и сняли перед ним шапки. Почувствовав на себя устремленные взгляды, Пьер поступил как страус, который прячет голову в куст, с тем чтобы его не видали; он опустил голову и, прибавив шагу, пошел по улице.
Из всех дел, предстоявших Пьеру в это утро, дело разборки книг и бумаг Иосифа Алексеевича показалось ему самым нужным.
Он взял первого попавшегося ему извозчика и велел ему ехать на Патриаршие пруды, где был дом вдовы Баздеева.
Беспрестанно оглядываясь на со всех сторон двигавшиеся обозы выезжавших из Москвы и оправляясь своим тучным телом, чтобы не соскользнуть с дребезжащих старых дрожек, Пьер, испытывая радостное чувство, подобное тому, которое испытывает мальчик, убежавший из школы, разговорился с извозчиком.
Извозчик рассказал ему, что нынешний день разбирают в Кремле оружие, и что на завтрашний народ выгоняют весь за Трехгорную заставу, и что там будет большое сражение.
Приехав на Патриаршие пруды, Пьер отыскал дом Баздеева, в котором он давно не бывал. Он подошел к калитке. Герасим, тот самый желтый безбородый старичок, которого Пьер видел пять лет тому назад в Торжке с Иосифом Алексеевичем, вышел на его стук.
– Дома? – спросил Пьер.
– По обстоятельствам нынешним, Софья Даниловна с детьми уехали в торжковскую деревню, ваше сиятельство.
– Я все таки войду, мне надо книги разобрать, – сказал Пьер.
– Пожалуйте, милости просим, братец покойника, – царство небесное! – Макар Алексеевич остались, да, как изволите знать, они в слабости, – сказал старый слуга.
Макар Алексеевич был, как знал Пьер, полусумасшедший, пивший запоем брат Иосифа Алексеевича.
– Да, да, знаю. Пойдем, пойдем… – сказал Пьер и вошел в дом. Высокий плешивый старый человек в халате, с красным носом, в калошах на босу ногу, стоял в передней; увидав Пьера, он сердито пробормотал что то и ушел в коридор.
– Большого ума были, а теперь, как изволите видеть, ослабели, – сказал Герасим. – В кабинет угодно? – Пьер кивнул головой. – Кабинет как был запечатан, так и остался. Софья Даниловна приказывали, ежели от вас придут, то отпустить книги.
Пьер вошел в тот самый мрачный кабинет, в который он еще при жизни благодетеля входил с таким трепетом. Кабинет этот, теперь запыленный и нетронутый со времени кончины Иосифа Алексеевича, был еще мрачнее.
Герасим открыл один ставень и на цыпочках вышел из комнаты. Пьер обошел кабинет, подошел к шкафу, в котором лежали рукописи, и достал одну из важнейших когда то святынь ордена. Это были подлинные шотландские акты с примечаниями и объяснениями благодетеля. Он сел за письменный запыленный стол и положил перед собой рукописи, раскрывал, закрывал их и, наконец, отодвинув их от себя, облокотившись головой на руки, задумался.
Несколько раз Герасим осторожно заглядывал в кабинет и видел, что Пьер сидел в том же положении. Прошло более двух часов. Герасим позволил себе пошуметь в дверях, чтоб обратить на себя внимание Пьера. Пьер не слышал его.
– Извозчика отпустить прикажете?
– Ах, да, – очнувшись, сказал Пьер, поспешно вставая. – Послушай, – сказал он, взяв Герасима за пуговицу сюртука и сверху вниз блестящими, влажными восторженными глазами глядя на старичка. – Послушай, ты знаешь, что завтра будет сражение?..
– Сказывали, – отвечал Герасим.
– Я прошу тебя никому не говорить, кто я. И сделай, что я скажу…
– Слушаюсь, – сказал Герасим. – Кушать прикажете?
– Нет, но мне другое нужно. Мне нужно крестьянское платье и пистолет, – сказал Пьер, неожиданно покраснев.
– Слушаю с, – подумав, сказал Герасим.
Весь остаток этого дня Пьер провел один в кабинете благодетеля, беспокойно шагая из одного угла в другой, как слышал Герасим, и что то сам с собой разговаривая, и ночевал на приготовленной ему тут же постели.
Герасим с привычкой слуги, видавшего много странных вещей на своем веку, принял переселение Пьера без удивления и, казалось, был доволен тем, что ему было кому услуживать. Он в тот же вечер, не спрашивая даже и самого себя, для чего это было нужно, достал Пьеру кафтан и шапку и обещал на другой день приобрести требуемый пистолет. Макар Алексеевич в этот вечер два раза, шлепая своими калошами, подходил к двери и останавливался, заискивающе глядя на Пьера. Но как только Пьер оборачивался к нему, он стыдливо и сердито запахивал свой халат и поспешно удалялся. В то время как Пьер в кучерском кафтане, приобретенном и выпаренном для него Герасимом, ходил с ним покупать пистолет у Сухаревой башни, он встретил Ростовых.


1 го сентября в ночь отдан приказ Кутузова об отступлении русских войск через Москву на Рязанскую дорогу.
Первые войска двинулись в ночь. Войска, шедшие ночью, не торопились и двигались медленно и степенно; но на рассвете двигавшиеся войска, подходя к Дорогомиловскому мосту, увидали впереди себя, на другой стороне, теснящиеся, спешащие по мосту и на той стороне поднимающиеся и запружающие улицы и переулки, и позади себя – напирающие, бесконечные массы войск. И беспричинная поспешность и тревога овладели войсками. Все бросилось вперед к мосту, на мост, в броды и в лодки. Кутузов велел обвезти себя задними улицами на ту сторону Москвы.
К десяти часам утра 2 го сентября в Дорогомиловском предместье оставались на просторе одни войска ариергарда. Армия была уже на той стороне Москвы и за Москвою.
В это же время, в десять часов утра 2 го сентября, Наполеон стоял между своими войсками на Поклонной горе и смотрел на открывавшееся перед ним зрелище. Начиная с 26 го августа и по 2 е сентября, от Бородинского сражения и до вступления неприятеля в Москву, во все дни этой тревожной, этой памятной недели стояла та необычайная, всегда удивляющая людей осенняя погода, когда низкое солнце греет жарче, чем весной, когда все блестит в редком, чистом воздухе так, что глаза режет, когда грудь крепнет и свежеет, вдыхая осенний пахучий воздух, когда ночи даже бывают теплые и когда в темных теплых ночах этих с неба беспрестанно, пугая и радуя, сыплются золотые звезды.
2 го сентября в десять часов утра была такая погода. Блеск утра был волшебный. Москва с Поклонной горы расстилалась просторно с своей рекой, своими садами и церквами и, казалось, жила своей жизнью, трепеща, как звезды, своими куполами в лучах солнца.
При виде странного города с невиданными формами необыкновенной архитектуры Наполеон испытывал то несколько завистливое и беспокойное любопытство, которое испытывают люди при виде форм не знающей о них, чуждой жизни. Очевидно, город этот жил всеми силами своей жизни. По тем неопределимым признакам, по которым на дальнем расстоянии безошибочно узнается живое тело от мертвого. Наполеон с Поклонной горы видел трепетание жизни в городе и чувствовал как бы дыханио этого большого и красивого тела.
– Cette ville asiatique aux innombrables eglises, Moscou la sainte. La voila donc enfin, cette fameuse ville! Il etait temps, [Этот азиатский город с бесчисленными церквами, Москва, святая их Москва! Вот он, наконец, этот знаменитый город! Пора!] – сказал Наполеон и, слезши с лошади, велел разложить перед собою план этой Moscou и подозвал переводчика Lelorgne d'Ideville. «Une ville occupee par l'ennemi ressemble a une fille qui a perdu son honneur, [Город, занятый неприятелем, подобен девушке, потерявшей невинность.] – думал он (как он и говорил это Тучкову в Смоленске). И с этой точки зрения он смотрел на лежавшую перед ним, невиданную еще им восточную красавицу. Ему странно было самому, что, наконец, свершилось его давнишнее, казавшееся ему невозможным, желание. В ясном утреннем свете он смотрел то на город, то на план, проверяя подробности этого города, и уверенность обладания волновала и ужасала его.
«Но разве могло быть иначе? – подумал он. – Вот она, эта столица, у моих ног, ожидая судьбы своей. Где теперь Александр и что думает он? Странный, красивый, величественный город! И странная и величественная эта минута! В каком свете представляюсь я им! – думал он о своих войсках. – Вот она, награда для всех этих маловерных, – думал он, оглядываясь на приближенных и на подходившие и строившиеся войска. – Одно мое слово, одно движение моей руки, и погибла эта древняя столица des Czars. Mais ma clemence est toujours prompte a descendre sur les vaincus. [царей. Но мое милосердие всегда готово низойти к побежденным.] Я должен быть великодушен и истинно велик. Но нет, это не правда, что я в Москве, – вдруг приходило ему в голову. – Однако вот она лежит у моих ног, играя и дрожа золотыми куполами и крестами в лучах солнца. Но я пощажу ее. На древних памятниках варварства и деспотизма я напишу великие слова справедливости и милосердия… Александр больнее всего поймет именно это, я знаю его. (Наполеону казалось, что главное значение того, что совершалось, заключалось в личной борьбе его с Александром.) С высот Кремля, – да, это Кремль, да, – я дам им законы справедливости, я покажу им значение истинной цивилизации, я заставлю поколения бояр с любовью поминать имя своего завоевателя. Я скажу депутации, что я не хотел и не хочу войны; что я вел войну только с ложной политикой их двора, что я люблю и уважаю Александра и что приму условия мира в Москве, достойные меня и моих народов. Я не хочу воспользоваться счастьем войны для унижения уважаемого государя. Бояре – скажу я им: я не хочу войны, а хочу мира и благоденствия всех моих подданных. Впрочем, я знаю, что присутствие их воодушевит меня, и я скажу им, как я всегда говорю: ясно, торжественно и велико. Но неужели это правда, что я в Москве? Да, вот она!»