Глубинное обучение
 |
Необходимо проверить качество перевода и привести статью в соответствие со стилистическими правилами Википедии. Вы можете помочь улучшить эту статью, исправив в ней ошибки.
Оригинал на английском языке — deep learning. |
Глубинное или глубокое обучение (англ. Deep learning) — набор алгоритмов машинного обучения, которые пытаются моделировать высокоуровневые абстракции в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.
Под термином «глубина» в данном случае понимается глубина графа вычислений модели — максимальная длина между входным и выходным узлами конкретной архитектуры. В случае, например, простой нейронной сети прямого распространения глубина соответствует количеству слоев сети. Термин 'глубинное обучение' акцентирует внимание на сложности обучения внутренних (глубоких) слоев многослойной сети, которые плохо поддаются классическим методам обучения, таким как метод обратного распространения ошибки.
Глубинное обучение является частью более широкого семейства методов машинного обучения, основанных на репрезентационном обучении. Наблюдения (к примеру, изображение) могут быть представлены по-разному (вектор пикселей и т. д.), но некоторые репрезентации позволяют легче решать поставленные задачи (к примеру, является ли это изображение лицом?). Исследования в этой области пытаются определить какие репрезентации более полезны и как создать модели, которые могли бы научиться создавать такие репрезентации.
Различные архитектуры глубинного обучения, такие как глубокие нейросети, свёрточные нейронные сети, глубокие сети доверия, использовались в таких областях как компьютерное зрение, распознавание речи, обработка естественного языка, где в некоторых задачах они показывали лучшие на данный момент результаты.
История
Глубокие архитектуры, основанные на искусственных нейронных сетях, берут своё начало с неокогнитрона, разработанного Кунихико Фукусимой в 1980 году. Сами нейронные сети появились ещё раньше. В 1989 году Яну Лекуну удалось использовать алгоритм обратного распространения ошибки для обучения глубоких нейросетей для решения задачи распознавания рукописных ZIP-кодов[1]. Несмотря на успешный опыт, для обучения модели потребовалось три дня, что существенно ограничивало применение этого метода. Низкая скорость обучения связана со многими факторами, включая проблему исчезающего градиента, которую в 1991 году анализировали Юрген Шмидхубер и Сепп Хохрайтер. Из-за этих проблем нейронные сети в 1990-х годах уступили место методу опорных векторов.
Термин «глубинное обучение» приобрёл популярность после публикации Джеффри Хинтона и Руслана Салахутдинова в середине 2000-х годов, в которой они показали, что можно эффективно предобучать многослойную нейронную сеть, если обучать каждый слой отдельно при помощи ограниченной машины Больцмана, а затем дообучать при помощи метода обратного распространения ошибки[2].
Напишите отзыв о статье "Глубинное обучение"
Примечания
Ссылки
- [www.machinelearning.ru/wiki/images/5/5d/Sem02_ann.pdf Евгений Соколов — Семинары по нейронным сетям.]
- [rcdl.ru/doc/2013/paper/pd_1.pdf Д. П. Ветров. презентация «Машинное обучение — состояние и перспективы»]
- [people.cs.pitt.edu/~huynv/research/deep-nets/Learning%20Deep%20Architectures%20for%20AI.pdf Yoshua Bengio — Learning Deep Architectures for AI ]
Отрывок, характеризующий Глубинное обучение
Он один, с своим выработанным в Италии и Египте идеалом славы и величия, с своим безумием самообожания, с своею дерзостью преступлений, с своею искренностью лжи, – он один может оправдать то, что имеет совершиться.Он нужен для того места, которое ожидает его, и потому, почти независимо от его воли и несмотря на его нерешительность, на отсутствие плана, на все ошибки, которые он делает, он втягивается в заговор, имеющий целью овладение властью, и заговор увенчивается успехом.
Его вталкивают в заседание правителей. Испуганный, он хочет бежать, считая себя погибшим; притворяется, что падает в обморок; говорит бессмысленные вещи, которые должны бы погубить его. Но правители Франции, прежде сметливые и гордые, теперь, чувствуя, что роль их сыграна, смущены еще более, чем он, говорят не те слова, которые им нужно бы было говорить, для того чтоб удержать власть и погубить его.
Случайность, миллионы случайностей дают ему власть, и все люди, как бы сговорившись, содействуют утверждению этой власти. Случайности делают характеры тогдашних правителей Франции, подчиняющимися ему; случайности делают характер Павла I, признающего его власть; случайность делает против него заговор, не только не вредящий ему, но утверждающий его власть. Случайность посылает ему в руки Энгиенского и нечаянно заставляет его убить, тем самым, сильнее всех других средств, убеждая толпу, что он имеет право, так как он имеет силу. Случайность делает то, что он напрягает все силы на экспедицию в Англию, которая, очевидно, погубила бы его, и никогда не исполняет этого намерения, а нечаянно нападает на Мака с австрийцами, которые сдаются без сражения. Случайность и гениальность дают ему победу под Аустерлицем, и случайно все люди, не только французы, но и вся Европа, за исключением Англии, которая и не примет участия в имеющих совершиться событиях, все люди, несмотря на прежний ужас и отвращение к его преступлениям, теперь признают за ним его власть, название, которое он себе дал, и его идеал величия и славы, который кажется всем чем то прекрасным и разумным.
Как бы примериваясь и приготовляясь к предстоящему движению, силы запада несколько раз в 1805 м, 6 м, 7 м, 9 м году стремятся на восток, крепчая и нарастая. В 1811 м году группа людей, сложившаяся во Франции, сливается в одну огромную группу с серединными народами. Вместе с увеличивающейся группой людей дальше развивается сила оправдания человека, стоящего во главе движения. В десятилетний приготовительный период времени, предшествующий большому движению, человек этот сводится со всеми коронованными лицами Европы. Разоблаченные владыки мира не могут противопоставить наполеоновскому идеалу славы и величия, не имеющего смысла, никакого разумного идеала. Один перед другим, они стремятся показать ему свое ничтожество. Король прусский посылает свою жену заискивать милости великого человека; император Австрии считает за милость то, что человек этот принимает в свое ложе дочь кесарей; папа, блюститель святыни народов, служит своей религией возвышению великого человека. Не столько сам Наполеон приготовляет себя для исполнения своей роли, сколько все окружающее готовит его к принятию на себя всей ответственности того, что совершается и имеет совершиться. Нет поступка, нет злодеяния или мелочного обмана, который бы он совершил и который тотчас же в устах его окружающих не отразился бы в форме великого деяния. Лучший праздник, который могут придумать для него германцы, – это празднование Иены и Ауерштета. Не только он велик, но велики его предки, его братья, его пасынки, зятья. Все совершается для того, чтобы лишить его последней силы разума и приготовить к его страшной роли. И когда он готов, готовы и силы.
