Адаптивная резонансная теория

Поделись знанием:
(перенаправлено с «Сети адаптивного резонанса»)
Перейти к: навигация, поиск

Сети адаптивного резонанса — разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера. Включает в себя модели, использующие обучение с учителем и без учителя и используются при решении задач распознавания образов и предсказания.





Общее описание

Основная идея заключается в том, что распознавание образов является результатом нисходящих ожиданий и восходящей сенсорной информации. Причем нисходяще ожидания принимают форму припоминаемых прототипов или образцов, которые затем сравниваются с реально наблюдаемыми свойствами объекта. Это сравнение лежит в основании меры категориальной принадлежности. Когда разница между ожиданием и наблюдаемым не превышает определенный порог («бдительность») наблюдаемый объект считается принадлежащим к определенной категории. Таким образом система предлагает решение проблемы пластичности/стабильности, то есть проблемы приобретения нового знания без нарушения уже существующего.

Обучение

Стандартная АР система представляет собой модель обучения без учителя. Как правило она состоит из составленных из нейронов поля сравнения и поля распознавания, а также параметра бдительности и модуля сброса. На вход поля сравнения подается вектор чисел, для которого определяется соответствующий нейрон в поле распознавания, то есть тот, чьи веса больше всего похожи на входной вектор. Каждый нейрон поля распознавания тормозит другие нейроны из этого поля (сила воздействия пропорциональна степени соответствия).

После классификации входа модуль сброса сравнивает степень соответствия при распознании с параметром бдительности. В случае если порог преодолен, происходит обучение: веса победившего нейрона подгоняются к значениям входного вектора. Если же порог не был преодолен, то победивший нейрон подавляется и запускается процедура поиска. В ходе этой процедуры распознающие нейроны отключаются один за другим с помощью функции сброса пока порог бдительности не будет преодолен. На каждом цикле поиска выбирается наиболее активный распознающий нейрон, и отключается, в случае если активация не достигает порога бдительности. Параметр бдительности имеет значительное влияние на систему: высокие значения создают высоко детализированную память (множество мелких категорий), тогда как небольшие значения создают более общие образы (меньшее количество болле крупных категорий).

Разновидности

ART1[1][2] — простейшая разновидность, принимающая на вход только бинарные значения.

ART2[3] — обеспечивает поддержку непрерывных значений.

ART2-A

ART3[4] — физиологически более реалистичная версия ART2. Моделирует медиаторную регуляцию синаптической активности.

Fuzzy ART[5] — вариант модели с применением принципов нечеткой логики.

ARTMAP (Predictive ART)

Fuzzy ARTMAP

Distributed ARTMAP

ARTMAP-IC

Default ARTMAP

Критика

Было замечено, что в ART1 и Fuzzy ART результаты сильно зависят от порядка предъявления обучающей выборки. Эффект может быть уменьшен понижением коэффициента скорости обучения, однако проявляется независимо от размера обучающей выборки. Поэтому результаты ART1 и Fuzzy ART моделей не являются состоятельными оценками с точки зрения математической статистики.

Напишите отзыв о статье "Адаптивная резонансная теория"

Ссылки

  1. Carpenter, G.A. & Grossberg, S. (2003), [cns.bu.edu/Profiles/Grossberg/CarGro2003HBTNN2.pdf Adaptive Resonance Theory], In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
  2. Grossberg, S. (1987), [www.cns.bu.edu/Profiles/Grossberg/Gro1987CogSci.pdf Competitive learning: From interactive activation to adaptive resonance], Cognitive Science (Publication), 11, 23-63
  3. Carpenter, G.A. & Grossberg, S. (1987), [cns-web.bu.edu/Profiles/Grossberg/CarGro1987AppliedOptics.pdf ART 2: Self-organization of stable category recognition codes for analog input patterns], Applied Optics, 26(23), 4919-4930
  4. Carpenter, G.A. & Grossberg, S. (1990), [cns.bu.edu/Profiles/Grossberg/CarGro1990NN.pdf ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures], Neural Networks (Publication), 3, 129—152
  5. Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), [cns.bu.edu/Profiles/Grossberg/CarGroRos1991NNFuzzyART.pdf Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system], Neural Networks (Publication), 4, 759—771

Напишите отзыв о статье "Адаптивная резонансная теория"

Ссылки

  • Stephen Grossberg's [cns-web.bu.edu/Profiles/Grossberg/ website].
  • ART’s implementation for unsupervised learning (ART 1, ART 2A, ART 2A-C and ART distance) can be found at [web.archive.org/web/20120109162743/users.visualserver.org/xhudik/art web.archive.org/web/20120109162743/users.visualserver.org/xhudik/art]
  • [cns.bu.edu/Profiles/Grossberg/ART.pdf] Summary of the ART algorithm

Отрывок, характеризующий Адаптивная резонансная теория

Зрители и слушатели французы засмеялись.
– Вас заставят плясать, как при Суворове вы плясали (on vous fera danser [вас заставят плясать]), – сказал Долохов.
– Qu'est ce qu'il chante? [Что он там поет?] – сказал один француз.
– De l'histoire ancienne, [Древняя история,] – сказал другой, догадавшись, что дело шло о прежних войнах. – L'Empereur va lui faire voir a votre Souvara, comme aux autres… [Император покажет вашему Сувара, как и другим…]
– Бонапарте… – начал было Долохов, но француз перебил его.
– Нет Бонапарте. Есть император! Sacre nom… [Чорт возьми…] – сердито крикнул он.
– Чорт его дери вашего императора!
И Долохов по русски, грубо, по солдатски обругался и, вскинув ружье, отошел прочь.
– Пойдемте, Иван Лукич, – сказал он ротному.
– Вот так по хранцузски, – заговорили солдаты в цепи. – Ну ка ты, Сидоров!
Сидоров подмигнул и, обращаясь к французам, начал часто, часто лепетать непонятные слова:
– Кари, мала, тафа, сафи, мутер, каска, – лопотал он, стараясь придавать выразительные интонации своему голосу.
– Го, го, го! ха ха, ха, ха! Ух! Ух! – раздался между солдатами грохот такого здорового и веселого хохота, невольно через цепь сообщившегося и французам, что после этого нужно было, казалось, разрядить ружья, взорвать заряды и разойтись поскорее всем по домам.
Но ружья остались заряжены, бойницы в домах и укреплениях так же грозно смотрели вперед и так же, как прежде, остались друг против друга обращенные, снятые с передков пушки.


Объехав всю линию войск от правого до левого фланга, князь Андрей поднялся на ту батарею, с которой, по словам штаб офицера, всё поле было видно. Здесь он слез с лошади и остановился у крайнего из четырех снятых с передков орудий. Впереди орудий ходил часовой артиллерист, вытянувшийся было перед офицером, но по сделанному ему знаку возобновивший свое равномерное, скучливое хождение. Сзади орудий стояли передки, еще сзади коновязь и костры артиллеристов. Налево, недалеко от крайнего орудия, был новый плетеный шалашик, из которого слышались оживленные офицерские голоса.
Действительно, с батареи открывался вид почти всего расположения русских войск и большей части неприятеля. Прямо против батареи, на горизонте противоположного бугра, виднелась деревня Шенграбен; левее и правее можно было различить в трех местах, среди дыма их костров, массы французских войск, которых, очевидно, большая часть находилась в самой деревне и за горою. Левее деревни, в дыму, казалось что то похожее на батарею, но простым глазом нельзя было рассмотреть хорошенько. Правый фланг наш располагался на довольно крутом возвышении, которое господствовало над позицией французов. По нем расположена была наша пехота, и на самом краю видны были драгуны. В центре, где и находилась та батарея Тушина, с которой рассматривал позицию князь Андрей, был самый отлогий и прямой спуск и подъем к ручью, отделявшему нас от Шенграбена. Налево войска наши примыкали к лесу, где дымились костры нашей, рубившей дрова, пехоты. Линия французов была шире нашей, и ясно было, что французы легко могли обойти нас с обеих сторон. Сзади нашей позиции был крутой и глубокий овраг, по которому трудно было отступать артиллерии и коннице. Князь Андрей, облокотясь на пушку и достав бумажник, начертил для себя план расположения войск. В двух местах он карандашом поставил заметки, намереваясь сообщить их Багратиону. Он предполагал, во первых, сосредоточить всю артиллерию в центре и, во вторых, кавалерию перевести назад, на ту сторону оврага. Князь Андрей, постоянно находясь при главнокомандующем, следя за движениями масс и общими распоряжениями и постоянно занимаясь историческими описаниями сражений, и в этом предстоящем деле невольно соображал будущий ход военных действий только в общих чертах. Ему представлялись лишь следующего рода крупные случайности: «Ежели неприятель поведет атаку на правый фланг, – говорил он сам себе, – Киевский гренадерский и Подольский егерский должны будут удерживать свою позицию до тех пор, пока резервы центра не подойдут к ним. В этом случае драгуны могут ударить во фланг и опрокинуть их. В случае же атаки на центр, мы выставляем на этом возвышении центральную батарею и под ее прикрытием стягиваем левый фланг и отступаем до оврага эшелонами», рассуждал он сам с собою…