Адаптивная резонансная теория
Сети адаптивного резонанса — разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера. Включает в себя модели, использующие обучение с учителем и без учителя и используются при решении задач распознавания образов и предсказания.
Общее описание
Основная идея заключается в том, что распознавание образов является результатом нисходящих ожиданий и восходящей сенсорной информации. Причем нисходяще ожидания принимают форму припоминаемых прототипов или образцов, которые затем сравниваются с реально наблюдаемыми свойствами объекта. Это сравнение лежит в основании меры категориальной принадлежности. Когда разница между ожиданием и наблюдаемым не превышает определенный порог («бдительность») наблюдаемый объект считается принадлежащим к определенной категории. Таким образом система предлагает решение проблемы пластичности/стабильности, то есть проблемы приобретения нового знания без нарушения уже существующего.
Обучение
Стандартная АР система представляет собой модель обучения без учителя. Как правило она состоит из составленных из нейронов поля сравнения и поля распознавания, а также параметра бдительности и модуля сброса. На вход поля сравнения подается вектор чисел, для которого определяется соответствующий нейрон в поле распознавания, то есть тот, чьи веса больше всего похожи на входной вектор. Каждый нейрон поля распознавания тормозит другие нейроны из этого поля (сила воздействия пропорциональна степени соответствия).
После классификации входа модуль сброса сравнивает степень соответствия при распознании с параметром бдительности. В случае если порог преодолен, происходит обучение: веса победившего нейрона подгоняются к значениям входного вектора. Если же порог не был преодолен, то победивший нейрон подавляется и запускается процедура поиска. В ходе этой процедуры распознающие нейроны отключаются один за другим с помощью функции сброса пока порог бдительности не будет преодолен. На каждом цикле поиска выбирается наиболее активный распознающий нейрон, и отключается, в случае если активация не достигает порога бдительности. Параметр бдительности имеет значительное влияние на систему: высокие значения создают высоко детализированную память (множество мелких категорий), тогда как небольшие значения создают более общие образы (меньшее количество болле крупных категорий).
Разновидности
ART1[1][2] — простейшая разновидность, принимающая на вход только бинарные значения.
ART2[3] — обеспечивает поддержку непрерывных значений.
ART2-A
ART3[4] — физиологически более реалистичная версия ART2. Моделирует медиаторную регуляцию синаптической активности.
Fuzzy ART[5] — вариант модели с применением принципов нечеткой логики.
ARTMAP (Predictive ART)
Fuzzy ARTMAP
Distributed ARTMAP
ARTMAP-IC
Default ARTMAP
Критика
Было замечено, что в ART1 и Fuzzy ART результаты сильно зависят от порядка предъявления обучающей выборки. Эффект может быть уменьшен понижением коэффициента скорости обучения, однако проявляется независимо от размера обучающей выборки. Поэтому результаты ART1 и Fuzzy ART моделей не являются состоятельными оценками с точки зрения математической статистики.
Ссылки
- ↑ Carpenter, G.A. & Grossberg, S. (2003), [cns.bu.edu/Profiles/Grossberg/CarGro2003HBTNN2.pdf Adaptive Resonance Theory], In Michael A. Arbib (Ed.), The Handbook of Brain Theory and Neural Networks, Second Edition (pp. 87-90). Cambridge, MA: MIT Press
- ↑ Grossberg, S. (1987), [www.cns.bu.edu/Profiles/Grossberg/Gro1987CogSci.pdf Competitive learning: From interactive activation to adaptive resonance], Cognitive Science (Publication), 11, 23-63
- ↑ Carpenter, G.A. & Grossberg, S. (1987), [cns-web.bu.edu/Profiles/Grossberg/CarGro1987AppliedOptics.pdf ART 2: Self-organization of stable category recognition codes for analog input patterns], Applied Optics, 26(23), 4919-4930
- ↑ Carpenter, G.A. & Grossberg, S. (1990), [cns.bu.edu/Profiles/Grossberg/CarGro1990NN.pdf ART 3: Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures], Neural Networks (Publication), 3, 129—152
- ↑ Carpenter, G.A., Grossberg, S., & Rosen, D.B. (1991b), [cns.bu.edu/Profiles/Grossberg/CarGroRos1991NNFuzzyART.pdf Fuzzy ART: Fast stable learning and categorization of analog patterns by an adaptive resonance system], Neural Networks (Publication), 4, 759—771
Ссылки
- Stephen Grossberg's [cns-web.bu.edu/Profiles/Grossberg/ website].
- ART’s implementation for unsupervised learning (ART 1, ART 2A, ART 2A-C and ART distance) can be found at [web.archive.org/web/20120109162743/users.visualserver.org/xhudik/art web.archive.org/web/20120109162743/users.visualserver.org/xhudik/art]
- [cns.bu.edu/Profiles/Grossberg/ART.pdf] Summary of the ART algorithm
| ||||||||||
