Нейронная сеть Хемминга
Нейро́нная сеть Хэ́мминга — вид нейронной сети, использующийся для классификации бинарных векторов, основным критерием в которой является расстояние Хэмминга. Является развитием нейронной сети Хопфилда.
Сеть используется для того, чтобы соотнести бинарный вектор <math> x = (x_1, x_2, x_3, ..., x_m)</math>, где <math>x_i=\{-1, 1\}</math>, с одним из эталонных образов (каждому классу соответствует свой образ), или же решить, что вектор не соответствует ни одному из эталонов. В отличии от сети Хопфилда, выдаёт не сам образец, а его номер.
Сеть предложена Ричардом Липпманном в 1987 году. Она позиционировалась как специализированное гетероассоциативное запоминающее устройство.[1]
Архитектура
Сеть Хэмминга — трёхслойная нейронная сеть с обратной связью. Количество нейронов во втором и третьем слоях равно количеству классов классификации. Синапсы нейронов второго слоя соединены с каждым входом сети, нейроны третьего слоя связаны между собой отрицательными связями, кроме синапса, связанного с собственным аксоном каждого нейрона — он имеет положительную обратную связь.
Обучение сети
Матрица весовых коэффициентов второго слоя получается из матрицы эталонных образов <math>X</math> как <math>w_{ij} = \dfrac{x_{ij}}{2}</math>, где матрица эталонных образов — это матрица <math>K\times M</math>, каждая строка которой — соответствующий эталонный бинарный вектор. Функция активации[en] определяется как <math>f(s)=\left\{\begin{matrix}
0, & s\leqslant0, \\ s, & 0 < s \leqslant T; \\ T, & s > T\\
\end{matrix}\right.</math>
где <math>T = \dfrac{M}{2}</math>
Матрица весовых коэффициентов второго слоя имеет размер <math>K\times K</math>, и определяется как
<math>\begin{bmatrix}
1 & -\epsilon & \cdots & -\epsilon\\ -\epsilon & 1 & \cdots & -\epsilon\\ \cdots & \cdots & \cdots & \cdots \\ -\epsilon & -\epsilon &\cdots & 1 \end{bmatrix},</math>
где <math>\epsilon \in (0, \dfrac{1}{K}]</math>
Таким образом, обучение производится за один цикл.
Работа сети
На вход подаётся классифицируемый вектор <math>\vec{x^*}</math>. Состояние нейронов первого слоя рассчитывается как <math>s_{1j} = w_{ji}x^*_i</math>. Выход нейронов первого слоя получается путём применения функции активации к состоянию, и становится начальным значением соответствующих нейронов второго слоя. Далее, состояния нейронов второго слоя получаются из их предыдущего состояния, исходя из матрицы весовых коэффициентов второго слоя, и процедура повторяется итерационно до стабилизации вектора состояния второго слоя — пока норма разницы векторов двух последовательных итераций не станет меньше определённого значения <math>E_{max}</math>(на практике достаточно значений порядка 0,1). В случае, если в итоге один вектор положительный, а остальные отрицательные, то он указывает на подходящий образец. В случае же, если несколько векторов положительны, и при этом, не один из них не превышает <math>E_{max}</math>, то это значит, что нейросеть не может отнести входящий вектор ни к одному из классов, однако положительные выходы указывают на наиболее схожие эталоны.
Примеры
Сеть может использоваться для распознавания изображений, состоящих лишь из чёрных и белых пикселей, например, индекс написанный на кодовом штампе конверта.
Напишите отзыв о статье "Нейронная сеть Хемминга"
Примечания
- ↑ Richard Lippmann. 1987. An introduction to computing with neural nets. IEEE Assp magazine
Литература
- Владимир Головко. Нейронные сети. Обучение, организация и применение. Книга 4. — М.: ИПРЖР, 2001. — 256 с.
- Осовский С. Нейронные сети для обработки информации. — М.: Финансы и статистика, 2002. — 344 с.
| ||||||||||
Отрывок, характеризующий Нейронная сеть Хемминга
– В ногу идите… Э!.. мужичье! – крикнул офицер, за плечи останавливая неровно шедших и трясущих носилки мужиков.– Подлаживай, что ль, Хведор, а Хведор, – говорил передний мужик.
– Вот так, важно, – радостно сказал задний, попав в ногу.
– Ваше сиятельство? А? Князь? – дрожащим голосом сказал подбежавший Тимохин, заглядывая в носилки.
Князь Андрей открыл глаза и посмотрел из за носилок, в которые глубоко ушла его голова, на того, кто говорил, и опять опустил веки.
Ополченцы принесли князя Андрея к лесу, где стояли фуры и где был перевязочный пункт. Перевязочный пункт состоял из трех раскинутых, с завороченными полами, палаток на краю березника. В березнике стояла фуры и лошади. Лошади в хребтугах ели овес, и воробьи слетали к ним и подбирали просыпанные зерна. Воронья, чуя кровь, нетерпеливо каркая, перелетали на березах. Вокруг палаток, больше чем на две десятины места, лежали, сидели, стояли окровавленные люди в различных одеждах. Вокруг раненых, с унылыми и внимательными лицами, стояли толпы солдат носильщиков, которых тщетно отгоняли от этого места распоряжавшиеся порядком офицеры. Не слушая офицеров, солдаты стояли, опираясь на носилки, и пристально, как будто пытаясь понять трудное значение зрелища, смотрели на то, что делалось перед ними. Из палаток слышались то громкие, злые вопли, то жалобные стенания. Изредка выбегали оттуда фельдшера за водой и указывали на тех, который надо было вносить. Раненые, ожидая у палатки своей очереди, хрипели, стонали, плакали, кричали, ругались, просили водки. Некоторые бредили. Князя Андрея, как полкового командира, шагая через неперевязанных раненых, пронесли ближе к одной из палаток и остановились, ожидая приказания. Князь Андрей открыл глаза и долго не мог понять того, что делалось вокруг него. Луг, полынь, пашня, черный крутящийся мячик и его страстный порыв любви к жизни вспомнились ему. В двух шагах от него, громко говоря и обращая на себя общее внимание, стоял, опершись на сук и с обвязанной головой, высокий, красивый, черноволосый унтер офицер. Он был ранен в голову и ногу пулями. Вокруг него, жадно слушая его речь, собралась толпа раненых и носильщиков.
– Мы его оттеда как долбанули, так все побросал, самого короля забрали! – блестя черными разгоряченными глазами и оглядываясь вокруг себя, кричал солдат. – Подойди только в тот самый раз лезервы, его б, братец ты мой, звания не осталось, потому верно тебе говорю…
Князь Андрей, так же как и все окружавшие рассказчика, блестящим взглядом смотрел на него и испытывал утешительное чувство. «Но разве не все равно теперь, – подумал он. – А что будет там и что такое было здесь? Отчего мне так жалко было расставаться с жизнью? Что то было в этой жизни, чего я не понимал и не понимаю».
Один из докторов, в окровавленном фартуке и с окровавленными небольшими руками, в одной из которых он между мизинцем и большим пальцем (чтобы не запачкать ее) держал сигару, вышел из палатки. Доктор этот поднял голову и стал смотреть по сторонам, но выше раненых. Он, очевидно, хотел отдохнуть немного. Поводив несколько времени головой вправо и влево, он вздохнул и опустил глаза.
– Ну, сейчас, – сказал он на слова фельдшера, указывавшего ему на князя Андрея, и велел нести его в палатку.
В толпе ожидавших раненых поднялся ропот.
– Видно, и на том свете господам одним жить, – проговорил один.
