Сигмоида

Сигмо́ида — это гладкая монотонная нелинейная функция, имеющая форму буквы "S", которая часто применяется для «сглаживания» значений некоторой величины. Возрастающая функция.

Часто под сигмоидой понимают логистическую функцию

<math>\sigma(x) = \frac{1}{1 + e^{-x}}</math>

Семейство функций класса сигмоид

В семейство функций класса сигмоид также входят такие функции как арктангенс, гиперболический тангенс и другие функции подобного вида.

Функция Ферми (экспоненциальная сигмоида): <math>f(s)= \frac{1}{1+e^{-2 \alpha s}}</math>

Рациональная сигмоида: <math>f(s)= \frac{s}{|s|+ \alpha}</math>

Гиперболический тангенс: <math>f(s)= th \frac{s}{\alpha} = \frac{ e^{ \frac{s}{\alpha} } - e^{ - \frac{s}{\alpha}} } {e^{ \frac{s}{\alpha} } + e^{ - \frac{s}{\alpha}}} </math>

Модифицированный гиперболический тангенс: <math>f(s)= \frac {e^{as} - e^{-bs}} {e^{cs} + e^{-ds}}</math>

Применение

Нейронные сети

Сигмоида применяется в нейронных сетях в качестве функций активации, так как позволяет как усиливать слабые сигналы, так и не насыщаться от сильных сигналов.

Производная сигмоиды может быть легко выражена через саму функцию, что позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:

<math>\sigma'(x) = (1 + \sigma(x)) \cdot (1 - \sigma(x))</math> — для гиперболического тангенса

<math>\sigma'(x) = \sigma(x) \cdot (1 - \sigma(x))</math> — для логистической функции

Логистическая регрессия

Логистическая функция <math>f(x) = \frac{1}{1 + e^{-x}}</math> используется в логистической регрессии следующим образом. В ней решается задача классификации с двумя классами (<math>y=0</math> и <math>y=1</math>, где <math>y</math> — переменная, указывающая класс объекта), и делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта <math>x_1, x_2, ..., x_n</math> (действительные числа):

<math>\mathbb{P}\{y=0\mid x_1,\ldots,x_n\} = f(a_1 x_1 + \ldots + a_n x_n) = \frac{1}{1 + \exp(-a_1 x_1 - \ldots - a_n x_n)},</math>

где <math>a_1, ..., a_n</math> — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Выбор именно этой функции <math>f(x)</math> можно обосновать, рассматривая логистическую регрессию, как обобщённую линейную модель в предположении, что зависимая переменная <math>y</math> распределена по закону Бернулли.

См. также

• Искусственная нейронная сеть
• Перцептрон
• Модифицированный гиперболический тангенс

Литература

• Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7.

Ссылки

• [www.neuropro.ru/memo312.shtml Сравнение быстроты нескольких программных реализаций гиперболического тангенса]
• [www.computing.dcu.ie/~humphrys/Notes/Neural/sigmoid.html Continuous output, the sigmoid function] (англ.).

Отрывок, характеризующий Сигмоида

Наташа и княжна Марья плакали тоже теперь, но они плакали не от своего личного горя; они плакали от благоговейного умиления, охватившего их души перед сознанием простого и торжественного таинства смерти, совершившегося перед ними.



Для человеческого ума недоступна совокупность причин явлений. Но потребность отыскивать причины вложена в душу человека. И человеческий ум, не вникнувши в бесчисленность и сложность условий явлений, из которых каждое отдельно может представляться причиною, хватается за первое, самое понятное сближение и говорит: вот причина. В исторических событиях (где предметом наблюдения суть действия людей) самым первобытным сближением представляется воля богов, потом воля тех людей, которые стоят на самом видном историческом месте, – исторических героев. Но стоит только вникнуть в сущность каждого исторического события, то есть в деятельность всей массы людей, участвовавших в событии, чтобы убедиться, что воля исторического героя не только не руководит действиями масс, но сама постоянно руководима. Казалось бы, все равно понимать значение исторического события так или иначе. Но между человеком, который говорит, что народы Запада пошли на Восток, потому что Наполеон захотел этого, и человеком, который говорит, что это совершилось, потому что должно было совершиться, существует то же различие, которое существовало между людьми, утверждавшими, что земля стоит твердо и планеты движутся вокруг нее, и теми, которые говорили, что они не знают, на чем держится земля, но знают, что есть законы, управляющие движением и ее, и других планет. Причин исторического события – нет и не может быть, кроме единственной причины всех причин. Но есть законы, управляющие событиями, отчасти неизвестные, отчасти нащупываемые нами. Открытие этих законов возможно только тогда, когда мы вполне отрешимся от отыскиванья причин в воле одного человека, точно так же, как открытие законов движения планет стало возможно только тогда, когда люди отрешились от представления утвержденности земли.

После Бородинского сражения, занятия неприятелем Москвы и сожжения ее, важнейшим эпизодом войны 1812 года историки признают движение русской армии с Рязанской на Калужскую дорогу и к Тарутинскому лагерю – так называемый фланговый марш за Красной Пахрой. Историки приписывают славу этого гениального подвига различным лицам и спорят о том, кому, собственно, она принадлежит. Даже иностранные, даже французские историки признают гениальность русских полководцев, говоря об этом фланговом марше. Но почему военные писатели, а за ними и все, полагают, что этот фланговый марш есть весьма глубокомысленное изобретение какого нибудь одного лица, спасшее Россию и погубившее Наполеона, – весьма трудно понять. Во первых, трудно понять, в чем состоит глубокомыслие и гениальность этого движения; ибо для того, чтобы догадаться, что самое лучшее положение армии (когда ее не атакуют) находиться там, где больше продовольствия, – не нужно большого умственного напряжения. И каждый, даже глупый тринадцатилетний мальчик, без труда мог догадаться, что в 1812 году самое выгодное положение армии, после отступления от Москвы, было на Калужской дороге. Итак, нельзя понять, во первых, какими умозаключениями доходят историки до того, чтобы видеть что то глубокомысленное в этом маневре. Во вторых, еще труднее понять, в чем именно историки видят спасительность этого маневра для русских и пагубность его для французов; ибо фланговый марш этот, при других, предшествующих, сопутствовавших и последовавших обстоятельствах, мог быть пагубным для русского и спасительным для французского войска. Если с того времени, как совершилось это движение, положение русского войска стало улучшаться, то из этого никак не следует, чтобы это движение было тому причиною.