Рекуррентная нейронная сеть

Рекуррентные нейронные сети (англ. Recurrent neural network; RNN) — вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату. Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Однако большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.

Однослойные сети с обратной связью

После выхода книги Минского с критикой возможностей элементарного перцептрона в 1969 году работы по изучению искусственных нейронных сетей практически прекратились. Только небольшие группы продолжали исследования в этом направлении. Одна из таких групп в Массачусетском Технологическом институте в 1978 году начала свою работу. Джон Хопфилд был приглашен в качестве консультанта из отделения биофизики лаборатории Бела. Его идеи так же как и Розенблатта базировались на результатах исследования в нейрофизиологии. Главной заслугой Хопфилда является энергетическая интерпретация работы искусственной нейронной сети. Что же касается самой нейронной сети Хопфилда, то она обладает рядом недостатков из-за которых она не может быть использована практически. Впоследствии Коско развил идеи Хопфилда и разработал модель гетероассоциативной памяти — нейронная сеть Коско. Основным недостатком этих сетей является отсутствие устойчивости, а в случаях когда она достигается сеть становится эквивалентной однослойной нейронной сети из-за чего она не в состоянии решать линейно неразделимые задачи. В итоге ёмкость таких сетей крайне мала. Несмотря на эти практические недостатки в области распознавания, данная сеть успешно применялась в исследованиях энергетического хаоса, возникновения аттракторов, а также с этого времени об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.

Рекуррентные сети с единичной задержкой

Начиная с нейронной сети Джордана, отчет о которой он публикует в 1986 году начинается новый этап в развитии нейронных сетей с обратной связью. Затем в 1990 году Элман предлагает модифицировать сеть Джордана — в результате получается наиболее известная на данный момент нейронная сеть Элмана. С этого момента такие сети называют рекуррентными. Как правило все они базируются на многослойном перцептроне, который становится в это время очень популярным. Такие сети по своему устройству и разнообразию становятся много проще своих предшественников, но зато они приспособлены для решения задачи запоминания последовательностей без проблем с устойчивостью. Это достигается тем, что сигнал с выходного слоя имея только единичную задержку поступает на дополнительные входы (сеть Джордана), и не поступает на первоначальные входы (как в сети Хопфилда) — из-за чего не происходит смешивания сигналов и нет вопроса с устойчивостью. Сеть Элмана отличается лишь тем, что сигнал с внутреннего слоя поступает на дополнительные входы. Такие дополнительные входы называют контекстом, которые служат для хранения информации о предыдущем стимуле, благодаря чему реакция сети теперь зависит не только от текущего стимула, но и предыдущего.

См. также

• Нейронная сеть Хопфилда
• Нейронная сеть Коско
• Нейронная сеть Джордана
• Нейронная сеть Элмана

Литература

• J. J. Hopfield [[www.pnas.org/cgi/content/abstract/79/8/2554 PNAS Reprint (Abstract)] [www.pnas.org/cgi/reprint/79/8/2554 PNAS Reprint (PDF)] Neural networks and physical systems with emergent collective computational abilities.] // Proceedings of National Academy of Sciences. — April 1982. — С. vol. 79 no. 8 pp. 2554—2558.

• Jordan, M. I. Serial order: A parallel distributed processing approach. // Institute for Cognitive Science Report 8604. — University of California, San Diego, 1986.

• Elman, J.L. [www3.isrl.uiuc.edu/~junwang4/langev/localcopy/pdf/elman90findingStructure.pdf Finding structure in time.] // Cognitive Science. — 1990. — С. 179-211.

Отрывок, характеризующий Рекуррентная нейронная сеть

– Ils m'ont recu avec ma nouvelle, comme un chien dans un jeu de quilles, [Они приняли меня с этою вестью, как принимают собаку, когда она мешает игре в кегли,] – заключил он.
Билибин усмехнулся и распустил складки кожи.
– Cependant, mon cher, – сказал он, рассматривая издалека свой ноготь и подбирая кожу над левым глазом, – malgre la haute estime que je professe pour le православное российское воинство, j'avoue que votre victoire n'est pas des plus victorieuses. [Однако, мой милый, при всем моем уважении к православному российскому воинству, я полагаю, что победа ваша не из самых блестящих.]
Он продолжал всё так же на французском языке, произнося по русски только те слова, которые он презрительно хотел подчеркнуть.
– Как же? Вы со всею массой своею обрушились на несчастного Мортье при одной дивизии, и этот Мортье уходит у вас между рук? Где же победа?
– Однако, серьезно говоря, – отвечал князь Андрей, – всё таки мы можем сказать без хвастовства, что это немного получше Ульма…
– Отчего вы не взяли нам одного, хоть одного маршала?
– Оттого, что не всё делается, как предполагается, и не так регулярно, как на параде. Мы полагали, как я вам говорил, зайти в тыл к семи часам утра, а не пришли и к пяти вечера.
– Отчего же вы не пришли к семи часам утра? Вам надо было притти в семь часов утра, – улыбаясь сказал Билибин, – надо было притти в семь часов утра.
– Отчего вы не внушили Бонапарту дипломатическим путем, что ему лучше оставить Геную? – тем же тоном сказал князь Андрей.
– Я знаю, – перебил Билибин, – вы думаете, что очень легко брать маршалов, сидя на диване перед камином. Это правда, а всё таки, зачем вы его не взяли? И не удивляйтесь, что не только военный министр, но и августейший император и король Франц не будут очень осчастливлены вашей победой; да и я, несчастный секретарь русского посольства, не чувствую никакой потребности в знак радости дать моему Францу талер и отпустить его с своей Liebchen [милой] на Пратер… Правда, здесь нет Пратера.
Он посмотрел прямо на князя Андрея и вдруг спустил собранную кожу со лба.
– Теперь мой черед спросить вас «отчего», мой милый, – сказал Болконский. – Я вам признаюсь, что не понимаю, может быть, тут есть дипломатические тонкости выше моего слабого ума, но я не понимаю: Мак теряет целую армию, эрцгерцог Фердинанд и эрцгерцог Карл не дают никаких признаков жизни и делают ошибки за ошибками, наконец, один Кутузов одерживает действительную победу, уничтожает charme [очарование] французов, и военный министр не интересуется даже знать подробности.
– Именно от этого, мой милый. Voyez vous, mon cher: [Видите ли, мой милый:] ура! за царя, за Русь, за веру! Tout ca est bel et bon, [все это прекрасно и хорошо,] но что нам, я говорю – австрийскому двору, за дело до ваших побед? Привезите вы нам свое хорошенькое известие о победе эрцгерцога Карла или Фердинанда – un archiduc vaut l'autre, [один эрцгерцог стоит другого,] как вам известно – хоть над ротой пожарной команды Бонапарте, это другое дело, мы прогремим в пушки. А то это, как нарочно, может только дразнить нас. Эрцгерцог Карл ничего не делает, эрцгерцог Фердинанд покрывается позором. Вену вы бросаете, не защищаете больше, comme si vous nous disiez: [как если бы вы нам сказали:] с нами Бог, а Бог с вами, с вашей столицей. Один генерал, которого мы все любили, Шмит: вы его подводите под пулю и поздравляете нас с победой!… Согласитесь, что раздразнительнее того известия, которое вы привозите, нельзя придумать. C'est comme un fait expres, comme un fait expres. [Это как нарочно, как нарочно.] Кроме того, ну, одержи вы точно блестящую победу, одержи победу даже эрцгерцог Карл, что ж бы это переменило в общем ходе дел? Теперь уж поздно, когда Вена занята французскими войсками.
– Как занята? Вена занята?
– Не только занята, но Бонапарте в Шенбрунне, а граф, наш милый граф Врбна отправляется к нему за приказаниями.
Болконский после усталости и впечатлений путешествия, приема и в особенности после обеда чувствовал, что он не понимает всего значения слов, которые он слышал.
– Нынче утром был здесь граф Лихтенфельс, – продолжал Билибин, – и показывал мне письмо, в котором подробно описан парад французов в Вене. Le prince Murat et tout le tremblement… [Принц Мюрат и все такое…] Вы видите, что ваша победа не очень то радостна, и что вы не можете быть приняты как спаситель…