Импульсная нейронная сеть

Поделись знанием:
Перейти к: навигация, поиск

Импульсная нейронная сеть (ИмНС) или Спайковая нейронная сеть (СНН, англ. Spiking neural network, SNN) — третье поколение искусственных нейронных сетей (ИНС)[1], которое отличается от бинарных (первое поколение) и частотных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1-2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ). Является самой реалистичной, с точки зрения физиологии, моделью ИНС[2][3][4].





История

Современные исследования

В настоящее время существует два направления исследования ИмНС[2]:

  1. создание компьютерных моделей, точно повторяющих модели функционирования нейронов реального мозга, благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм ЦНС;
  2. создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как помехозащищенность и энергоэффективность, при анализе больших объемов данных.

Устройство

Принцип работы

Сеть получает на входы серию импульсов и выдает импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Параметров весовых связей импульсного нейрона существует всего два — время задержки и величина веса[5].

Модели нейронов

Способы моделирования нейронов ИмНС можно разделить на две группы:

  1. модели проводимости — подобны процессу работы ионных каналов;
    1. Модель Ходжкина — Хаксли;
    2. Модель Ижикевича[en];
    3. Модель ФитцХью — Нагумо[en]*;
    4. Модель Хиндмарша — Роуза[en];
    5. Модель Морриса — Лекара[en];
    6. Модель Уилсона — Кована[en];
    7. Модель Гальвеса — Лёхербаха[en];
    8. Многокамерная модель[en];
    9. Кабельная теория дендритов.
  2. модели порогового значения — порождают импульс при определенном уровне напряжения.
    1. Метод «интегрировать-и-сработать»[en]*;
    2. Метод «интегрировать-и-сработать» с утечками[en]*.

Представление информации

В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты)[3]. Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов[6].

Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации[3][7][8][9]:

  1. фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга);
  2. синхронный — информация о сигнале задается синхронным (или в пределах некоторого окна) появлением импульсов на выходах сети;
  3. время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
  4. порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
  5. интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
  6. резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).

Также, существуют и другие виды представления информации:

  1. асинхронный (позиционный/пространственный/популяционный) — информация о сигнале задается активностью различных групп нейронов (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах).

Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации:

  1. пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
  2. популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.

Методы обучения

На данный момент существует несколько методов обучения ИмНС[8]:

Качественные характеристики

Преимущества

Импульсные ИНС имеют ряд преимуществ[10]:

  1. ИмНС являются динамическими и отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений)[2];
  2. ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
  3. ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
  4. ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
  5. ИмНС выделяются своей повышенной продуктивностью обработки информации и помехоустойчивостью, так как используют временно́е представление информации;
  6. ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (возбуждающий и тормозящий) классической ИНС;
  7. ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС[11];
  8. ИмНС могут обучаться в процессе работы[12].

Недостатки

  1. ИмНС нецелесообразно использовать в системах с малым числом нейронов;
  2. Не существует совершенного алгоритма обучения.

Реализации

Программные

Аппаратные

Применение

Протезирование

Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении[2].

Робототехника

Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры[2].

Компьютерное зрение

Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт[2].

Телекоммуникации

Qualcomm занимается исследованием возможности применения ИмНС в телекоммуникационных устройствах[2].

Напишите отзыв о статье "Импульсная нейронная сеть"

Примечания

  1. Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks, 1997, vol. 10, no. 9, pp. 1659—1671. DOI: 10.1016/S0893-6080(97)00011-7
  2. 1 2 3 4 5 6 7 [postnauka.ru/faq/36677 Как исследования нейронных сетей перешли из лабораторий в компании?]
  3. 1 2 3 [postnauka.ru/video/47810 Самоорганизация импульсных нейронных сетей]
  4. Gerstner W. Spiking Neuron Models: Single Neurons, Populations, Plasticity / W. Gerstner, W. Kistler. — Cambridge: Cambridge University Press, 2002.
  5. [enu.kz/repository/repository2012/raspoznavanii-rechi.pdf Головинов Михаил Викторович, ОБ АВТОМАТИЧЕСКОМ РАСПОЗНАВАНИИ РЕЧИ]
  6. Борисюк Г. Н., Борисюк Р. М., Казанович Я. Б., Иваницкий Г. Р., «Модели динамики нейронной активности при обработке информации мозгом — итоги „десятилетия“» УФН 172 1189—1214 (2002)
  7. Introduction to spiking neural networks: Information processing, learning and applications. Filip Ponulak and Andrzej Kasiński / Acta Neurobiol Exp 2011, 71: 409—433.
  8. 1 2 Коденко Никита Игоревич, Методы обучения импульсных нейронных сетей
  9. Spiking Neuron Models Single Neurons, Populations, Plasticity Wulfram Gerstner and Werner M. Kistler Cambridge University Press, 2002
  10. Колесницкий О. К., Бокоцей И. В., Яремчук С. С. Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-приборов, Часть 1 // XII Всеросиийская научно-техническая конференция «Нейроинформатика», 2010. C. 122—127.
  11. Синявский ОЛЕГ ЮРЬЕВИЧ, ОБУЧЕНИЕ СПАИКОВЫХ НЕЙРОННЫХ СЕТЕЙ НА ОСНОВЕ МИНИМИЗАЦИИ ИХ ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК В ЗАДАЧАХ АНАЛИЗА, ЗАПОМИНАНИЯ И АДАПТИВНОЙ ОБРАБОТКИ ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ ИНФОРМАЦИИ
  12. [www.nauka.x-pdf.ru/17ekonomika/513640-1-v-state-proveden-retrospektivniy-analiz-evolyucii-koncepciy-postroeniya-iskusstvennih-neyronnih-setey-razreze-vozmo.php И. И. Скнар, КОНЦЕПЦИЯ ПОСТРОЕНИЯ БИОЛОГИЧЕСКИ ПРАВДОПОДОБНОЙ ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ]

Литература

  • [icwww.epfl.ch/~gerstner/SPNM/SPNM.html Spiking Neuron Models. Single Neurons, Populations, Plasticity] by Wulfram Gerstner and Werner M. Kistler (ISBN 0-521-89079-9)
  • Booij O. «Temporal Pattern Classification using Spiking Neural Networks», 2004

Отрывок, характеризующий Импульсная нейронная сеть

Забывший свое намерение не открывать своего знания французского языка, Пьер, вырвав пистолет и бросив его, подбежал к офицеру и по французски заговорил с ним.
– Vous n'etes pas blesse? [Вы не ранены?] – сказал он.
– Je crois que non, – отвечал офицер, ощупывая себя, – mais je l'ai manque belle cette fois ci, – прибавил он, указывая на отбившуюся штукатурку в стене. – Quel est cet homme? [Кажется, нет… но на этот раз близко было. Кто этот человек?] – строго взглянув на Пьера, сказал офицер.
– Ah, je suis vraiment au desespoir de ce qui vient d'arriver, [Ах, я, право, в отчаянии от того, что случилось,] – быстро говорил Пьер, совершенно забыв свою роль. – C'est un fou, un malheureux qui ne savait pas ce qu'il faisait. [Это несчастный сумасшедший, который не знал, что делал.]
Офицер подошел к Макару Алексеичу и схватил его за ворот.
Макар Алексеич, распустив губы, как бы засыпая, качался, прислонившись к стене.
– Brigand, tu me la payeras, – сказал француз, отнимая руку.
– Nous autres nous sommes clements apres la victoire: mais nous ne pardonnons pas aux traitres, [Разбойник, ты мне поплатишься за это. Наш брат милосерд после победы, но мы не прощаем изменникам,] – прибавил он с мрачной торжественностью в лице и с красивым энергическим жестом.
Пьер продолжал по французски уговаривать офицера не взыскивать с этого пьяного, безумного человека. Француз молча слушал, не изменяя мрачного вида, и вдруг с улыбкой обратился к Пьеру. Он несколько секунд молча посмотрел на него. Красивое лицо его приняло трагически нежное выражение, и он протянул руку.
– Vous m'avez sauve la vie! Vous etes Francais, [Вы спасли мне жизнь. Вы француз,] – сказал он. Для француза вывод этот был несомненен. Совершить великое дело мог только француз, а спасение жизни его, m r Ramball'я capitaine du 13 me leger [мосье Рамбаля, капитана 13 го легкого полка] – было, без сомнения, самым великим делом.
Но как ни несомненен был этот вывод и основанное на нем убеждение офицера, Пьер счел нужным разочаровать его.
– Je suis Russe, [Я русский,] – быстро сказал Пьер.
– Ти ти ти, a d'autres, [рассказывайте это другим,] – сказал француз, махая пальцем себе перед носом и улыбаясь. – Tout a l'heure vous allez me conter tout ca, – сказал он. – Charme de rencontrer un compatriote. Eh bien! qu'allons nous faire de cet homme? [Сейчас вы мне все это расскажете. Очень приятно встретить соотечественника. Ну! что же нам делать с этим человеком?] – прибавил он, обращаясь к Пьеру, уже как к своему брату. Ежели бы даже Пьер не был француз, получив раз это высшее в свете наименование, не мог же он отречься от него, говорило выражение лица и тон французского офицера. На последний вопрос Пьер еще раз объяснил, кто был Макар Алексеич, объяснил, что пред самым их приходом этот пьяный, безумный человек утащил заряженный пистолет, который не успели отнять у него, и просил оставить его поступок без наказания.
Француз выставил грудь и сделал царский жест рукой.
– Vous m'avez sauve la vie. Vous etes Francais. Vous me demandez sa grace? Je vous l'accorde. Qu'on emmene cet homme, [Вы спасли мне жизнь. Вы француз. Вы хотите, чтоб я простил его? Я прощаю его. Увести этого человека,] – быстро и энергично проговорил французский офицер, взяв под руку произведенного им за спасение его жизни во французы Пьера, и пошел с ним в дом.
Солдаты, бывшие на дворе, услыхав выстрел, вошли в сени, спрашивая, что случилось, и изъявляя готовность наказать виновных; но офицер строго остановил их.
– On vous demandera quand on aura besoin de vous, [Когда будет нужно, вас позовут,] – сказал он. Солдаты вышли. Денщик, успевший между тем побывать в кухне, подошел к офицеру.
– Capitaine, ils ont de la soupe et du gigot de mouton dans la cuisine, – сказал он. – Faut il vous l'apporter? [Капитан у них в кухне есть суп и жареная баранина. Прикажете принести?]
– Oui, et le vin, [Да, и вино,] – сказал капитан.


Французский офицер вместе с Пьером вошли в дом. Пьер счел своим долгом опять уверить капитана, что он был не француз, и хотел уйти, но французский офицер и слышать не хотел об этом. Он был до такой степени учтив, любезен, добродушен и истинно благодарен за спасение своей жизни, что Пьер не имел духа отказать ему и присел вместе с ним в зале, в первой комнате, в которую они вошли. На утверждение Пьера, что он не француз, капитан, очевидно не понимая, как можно было отказываться от такого лестного звания, пожал плечами и сказал, что ежели он непременно хочет слыть за русского, то пускай это так будет, но что он, несмотря на то, все так же навеки связан с ним чувством благодарности за спасение жизни.
Ежели бы этот человек был одарен хоть сколько нибудь способностью понимать чувства других и догадывался бы об ощущениях Пьера, Пьер, вероятно, ушел бы от него; но оживленная непроницаемость этого человека ко всему тому, что не было он сам, победила Пьера.
– Francais ou prince russe incognito, [Француз или русский князь инкогнито,] – сказал француз, оглядев хотя и грязное, но тонкое белье Пьера и перстень на руке. – Je vous dois la vie je vous offre mon amitie. Un Francais n'oublie jamais ni une insulte ni un service. Je vous offre mon amitie. Je ne vous dis que ca. [Я обязан вам жизнью, и я предлагаю вам дружбу. Француз никогда не забывает ни оскорбления, ни услуги. Я предлагаю вам мою дружбу. Больше я ничего не говорю.]
В звуках голоса, в выражении лица, в жестах этого офицера было столько добродушия и благородства (во французском смысле), что Пьер, отвечая бессознательной улыбкой на улыбку француза, пожал протянутую руку.
– Capitaine Ramball du treizieme leger, decore pour l'affaire du Sept, [Капитан Рамбаль, тринадцатого легкого полка, кавалер Почетного легиона за дело седьмого сентября,] – отрекомендовался он с самодовольной, неудержимой улыбкой, которая морщила его губы под усами. – Voudrez vous bien me dire a present, a qui' j'ai l'honneur de parler aussi agreablement au lieu de rester a l'ambulance avec la balle de ce fou dans le corps. [Будете ли вы так добры сказать мне теперь, с кем я имею честь разговаривать так приятно, вместо того, чтобы быть на перевязочном пункте с пулей этого сумасшедшего в теле?]
Пьер отвечал, что не может сказать своего имени, и, покраснев, начал было, пытаясь выдумать имя, говорить о причинах, по которым он не может сказать этого, но француз поспешно перебил его.
– De grace, – сказал он. – Je comprends vos raisons, vous etes officier… officier superieur, peut etre. Vous avez porte les armes contre nous. Ce n'est pas mon affaire. Je vous dois la vie. Cela me suffit. Je suis tout a vous. Vous etes gentilhomme? [Полноте, пожалуйста. Я понимаю вас, вы офицер… штаб офицер, может быть. Вы служили против нас. Это не мое дело. Я обязан вам жизнью. Мне этого довольно, и я весь ваш. Вы дворянин?] – прибавил он с оттенком вопроса. Пьер наклонил голову. – Votre nom de bapteme, s'il vous plait? Je ne demande pas davantage. Monsieur Pierre, dites vous… Parfait. C'est tout ce que je desire savoir. [Ваше имя? я больше ничего не спрашиваю. Господин Пьер, вы сказали? Прекрасно. Это все, что мне нужно.]
Когда принесены были жареная баранина, яичница, самовар, водка и вино из русского погреба, которое с собой привезли французы, Рамбаль попросил Пьера принять участие в этом обеде и тотчас сам, жадно и быстро, как здоровый и голодный человек, принялся есть, быстро пережевывая своими сильными зубами, беспрестанно причмокивая и приговаривая excellent, exquis! [чудесно, превосходно!] Лицо его раскраснелось и покрылось потом. Пьер был голоден и с удовольствием принял участие в обеде. Морель, денщик, принес кастрюлю с теплой водой и поставил в нее бутылку красного вина. Кроме того, он принес бутылку с квасом, которую он для пробы взял в кухне. Напиток этот был уже известен французам и получил название. Они называли квас limonade de cochon (свиной лимонад), и Морель хвалил этот limonade de cochon, который он нашел в кухне. Но так как у капитана было вино, добытое при переходе через Москву, то он предоставил квас Морелю и взялся за бутылку бордо. Он завернул бутылку по горлышко в салфетку и налил себе и Пьеру вина. Утоленный голод и вино еще более оживили капитана, и он не переставая разговаривал во время обеда.
– Oui, mon cher monsieur Pierre, je vous dois une fiere chandelle de m'avoir sauve… de cet enrage… J'en ai assez, voyez vous, de balles dans le corps. En voila une (on показал на бок) a Wagram et de deux a Smolensk, – он показал шрам, который был на щеке. – Et cette jambe, comme vous voyez, qui ne veut pas marcher. C'est a la grande bataille du 7 a la Moskowa que j'ai recu ca. Sacre dieu, c'etait beau. Il fallait voir ca, c'etait un deluge de feu. Vous nous avez taille une rude besogne; vous pouvez vous en vanter, nom d'un petit bonhomme. Et, ma parole, malgre l'atoux que j'y ai gagne, je serais pret a recommencer. Je plains ceux qui n'ont pas vu ca. [Да, мой любезный господин Пьер, я обязан поставить за вас добрую свечку за то, что вы спасли меня от этого бешеного. С меня, видите ли, довольно тех пуль, которые у меня в теле. Вот одна под Ваграмом, другая под Смоленском. А эта нога, вы видите, которая не хочет двигаться. Это при большом сражении 7 го под Москвою. О! это было чудесно! Надо было видеть, это был потоп огня. Задали вы нам трудную работу, можете похвалиться. И ей богу, несмотря на этот козырь (он указал на крест), я был бы готов начать все снова. Жалею тех, которые не видали этого.]
– J'y ai ete, [Я был там,] – сказал Пьер.
– Bah, vraiment! Eh bien, tant mieux, – сказал француз. – Vous etes de fiers ennemis, tout de meme. La grande redoute a ete tenace, nom d'une pipe. Et vous nous l'avez fait cranement payer. J'y suis alle trois fois, tel que vous me voyez. Trois fois nous etions sur les canons et trois fois on nous a culbute et comme des capucins de cartes. Oh!! c'etait beau, monsieur Pierre. Vos grenadiers ont ete superbes, tonnerre de Dieu. Je les ai vu six fois de suite serrer les rangs, et marcher comme a une revue. Les beaux hommes! Notre roi de Naples, qui s'y connait a crie: bravo! Ah, ah! soldat comme nous autres! – сказал он, улыбаясь, поело минутного молчания. – Tant mieux, tant mieux, monsieur Pierre. Terribles en bataille… galants… – он подмигнул с улыбкой, – avec les belles, voila les Francais, monsieur Pierre, n'est ce pas? [Ба, в самом деле? Тем лучше. Вы лихие враги, надо признаться. Хорошо держался большой редут, черт возьми. И дорого же вы заставили нас поплатиться. Я там три раза был, как вы меня видите. Три раза мы были на пушках, три раза нас опрокидывали, как карточных солдатиков. Ваши гренадеры были великолепны, ей богу. Я видел, как их ряды шесть раз смыкались и как они выступали точно на парад. Чудный народ! Наш Неаполитанский король, который в этих делах собаку съел, кричал им: браво! – Га, га, так вы наш брат солдат! – Тем лучше, тем лучше, господин Пьер. Страшны в сражениях, любезны с красавицами, вот французы, господин Пьер. Не правда ли?]