Теорема Цыбенко
Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко (George Cybenko) в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи (англ. feed-forward; в которых связи не образуют циклов) с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор <math>\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha},</math> и <math>\mathbf{\theta}</math>, где
- <math>\mathbf{w}_i</math> — весы между входными нейронами и нейронами скрытого слоя
- <math>\mathbf{\alpha}</math> — весы между связями от нейронов скрытого слоя и выходным нейроном
- <math>\mathbf{\theta}</math> — коэффициент «предвзятости» для нейронов скрытого слоя.
Формальное изложение
Пусть <math>\varphi</math> любая непрерывная сигмоидная функция, например, <math>\varphi(\xi) = 1/(1+e^{-\xi})</math>. Тогда, если дана любая непрерывная функция действительных переменных <math>f</math> на <math>[0,1]^n</math> (или любое другое компактное подмножество <math>R^n</math>) и <math>\epsilon > 0</math>, то существуют векторы <math>\mathbf{w_1}, \mathbf{w_2}, \dots, \mathbf{w_N}, \mathbf{\alpha}</math> и <math>\mathbf{\theta}</math> и параметризованная функция <math>G(\mathbf{\cdot},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}): [0,1]^n \rightarrow R</math> такая, что
<math>|G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) - f(\mathbf{x})| < |\epsilon|</math> для всех <math>\mathbf{x} \in [0,1]^n</math>
где
<math>G(\mathbf{x},\mathbf{w},\mathbf{\alpha},\mathbf{\theta}) = \sum_{i=1}^N\alpha_i\varphi(\mathbf{w}_i^T\mathbf{x} + \theta_i)</math>
и <math>\mathbf{w}_i \in R^n, \alpha_i, \theta_i \in R, \mathbf{w} = (\mathbf{w}_1, \mathbf{w}_2, \dots \mathbf{w}_N), \mathbf{\alpha} = (\alpha_1, \alpha_2, \dots, \alpha_N),</math> и <math>\mathbf{\theta} = (\theta_1, \theta_2, \dots , \theta_N)</math>.
Ссылка
- [deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf Cybenko, G. V. (1989).] [deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf Approximation by Superpositions of a Sigmoidal function, Mathematics of Control Signals and Systems, vol. 2 no. 4 pp. 303-314.]
- Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48
См. также
Напишите отзыв о статье "Теорема Цыбенко"
Отрывок, характеризующий Теорема Цыбенко
Как ни стыдно ей было признаться себе, что она первая полюбила человека, который, может быть, никогда не полюбит ее, она утешала себя мыслью, что никто никогда не узнает этого и что она не будет виновата, ежели будет до конца жизни, никому не говоря о том, любить того, которого она любила в первый и в последний раз.Иногда она вспоминала его взгляды, его участие, его слова, и ей казалось счастье не невозможным. И тогда то Дуняша замечала, что она, улыбаясь, глядела в окно кареты.
«И надо было ему приехать в Богучарово, и в эту самую минуту! – думала княжна Марья. – И надо было его сестре отказать князю Андрею! – И во всем этом княжна Марья видела волю провиденья.
Впечатление, произведенное на Ростова княжной Марьей, было очень приятное. Когда ои вспоминал про нее, ему становилось весело, и когда товарищи, узнав о бывшем с ним приключении в Богучарове, шутили ему, что он, поехав за сеном, подцепил одну из самых богатых невест в России, Ростов сердился. Он сердился именно потому, что мысль о женитьбе на приятной для него, кроткой княжне Марье с огромным состоянием не раз против его воли приходила ему в голову. Для себя лично Николай не мог желать жены лучше княжны Марьи: женитьба на ней сделала бы счастье графини – его матери, и поправила бы дела его отца; и даже – Николай чувствовал это – сделала бы счастье княжны Марьи. Но Соня? И данное слово? И от этого то Ростов сердился, когда ему шутили о княжне Болконской.
Приняв командование над армиями, Кутузов вспомнил о князе Андрее и послал ему приказание прибыть в главную квартиру.
Князь Андрей приехал в Царево Займище в тот самый день и в то самое время дня, когда Кутузов делал первый смотр войскам. Князь Андрей остановился в деревне у дома священника, у которого стоял экипаж главнокомандующего, и сел на лавочке у ворот, ожидая светлейшего, как все называли теперь Кутузова. На поле за деревней слышны были то звуки полковой музыки, то рев огромного количества голосов, кричавших «ура!новому главнокомандующему. Тут же у ворот, шагах в десяти от князя Андрея, пользуясь отсутствием князя и прекрасной погодой, стояли два денщика, курьер и дворецкий. Черноватый, обросший усами и бакенбардами, маленький гусарский подполковник подъехал к воротам и, взглянув на князя Андрея, спросил: здесь ли стоит светлейший и скоро ли он будет?
