Интеллектуальный анализ текста

Интеллектуальный анализ текстов (ИАТ, англ. text mining) — направление в искусственном интеллекте, целью которого является получение информации из коллекций текстовых документов, основываясь на применении эффективных в практическом плане методов машинного обучения и обработки естественного языка. Название «интеллектуальный анализ текстов» перекликается с понятием «интеллектуальный анализ данных» (ИАД, англ. data mining), что выражает схожесть их целей, подходов к переработке информации и сфер применения; разница проявляется лишь в конечных методах, а также в том, что ИАД имеет дело с хранилищами и базами данных, а не электронными библиотеками и корпусами текстов.

Группы задач ИАТ

Ключевыми группами задач ИАТ являются: категоризация текстов, извлечение информации и информационный поиск, обработка изменений в коллекциях текстов, а также разработка средств представления информации для пользователя.

Категоризация документов заключается в отнесении документов из коллекции к одной или нескольким группам (классам, кластерам) схожих между собой текстов (например, по теме или стилю). Категоризация может происходить при участии человека, так и без него. В первом случае, называемом классификацией документов, система ИАТ должна отнести тексты к уже определённым (удобным для него) классам. В терминах машинного обучения для этого необходимо произвести обучение с учителем, для чего пользователь должен предоставить системе ИАТ как множество классов, так и образцы документов, принадлежащих этим классам.

Второй случай категоризации называется кластеризацией документов. При этом система ИАТ должна сама определить множество кластеров, по которым могут быть распределены тексты, — в машинном обучении соотвутствующая задача называется обучением без учителя. В этом случае пользователь должен сообщить системе ИАТ количество кластеров, на которое ему хотелось бы разбить обрабатываемую коллекцию (подразумевается, что в алгоритм программы уже заложена процедура выбора признаков).

Применение

В последнее время анализ текста привлекает всё больше внимания в различных областях, таких как безопасность, коммерция, наука.

В безопасности

Многие пакеты анализа текста, такие как Aerotext и Attensity, нацелены на рынок приложений безопасности, в частности на анализ источников простого текста, например новостных сайтов.

В программном обеспечении

Исследования и разработки подразделений крупных компаний, таких как IBM, Apple и Microsoft, исследуют технологии анализа текста с целью будущей автоматизации процессов анализа и извлечения данных.

Литература

На русском:

• Пескова О. В. Алгоритмы классификации полнотекстовых документов // Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. — М.: МИЭМ (Московский государственный институт электроники и математики), 2011. — С. 170—212. — ISBN 978–5–94506–294–8.

На английском:

• Survey of Text Mining I: Clustering, Classification, and Retrieval / Ed. by M. W. Berry. — 2004. — Springer, 2003. — 261 p. — ISBN 0387955631.
• Aggarwal C. C., Zhai C. Mining Text Data. — Springer, 2012. — 527 p. — ISBN 9781461432234.
• Do Prado H. A. Emerging Technologies of Text Mining: Techniques and Applications / Ed. by H. A. Do Prado, E. Ferneda. — Idea Group Reference, 2007. — 358 p. — ISBN 1599043734.

Отрывок, характеризующий Интеллектуальный анализ текста

Даву поднял глаза и пристально посмотрел на Пьера. Несколько секунд они смотрели друг на друга, и этот взгляд спас Пьера. В этом взгляде, помимо всех условий войны и суда, между этими двумя людьми установились человеческие отношения. Оба они в эту одну минуту смутно перечувствовали бесчисленное количество вещей и поняли, что они оба дети человечества, что они братья.
В первом взгляде для Даву, приподнявшего только голову от своего списка, где людские дела и жизнь назывались нумерами, Пьер был только обстоятельство; и, не взяв на совесть дурного поступка, Даву застрелил бы его; но теперь уже он видел в нем человека. Он задумался на мгновение.
– Comment me prouverez vous la verite de ce que vous me dites? [Чем вы докажете мне справедливость ваших слов?] – сказал Даву холодно.
Пьер вспомнил Рамбаля и назвал его полк, и фамилию, и улицу, на которой был дом.
– Vous n'etes pas ce que vous dites, [Вы не то, что вы говорите.] – опять сказал Даву.
Пьер дрожащим, прерывающимся голосом стал приводить доказательства справедливости своего показания.
Но в это время вошел адъютант и что то доложил Даву.
Даву вдруг просиял при известии, сообщенном адъютантом, и стал застегиваться. Он, видимо, совсем забыл о Пьере.
Когда адъютант напомнил ему о пленном, он, нахмурившись, кивнул в сторону Пьера и сказал, чтобы его вели. Но куда должны были его вести – Пьер не знал: назад в балаган или на приготовленное место казни, которое, проходя по Девичьему полю, ему показывали товарищи.
Он обернул голову и видел, что адъютант переспрашивал что то.
– Oui, sans doute! [Да, разумеется!] – сказал Даву, но что «да», Пьер не знал.
Пьер не помнил, как, долго ли он шел и куда. Он, в состоянии совершенного бессмыслия и отупления, ничего не видя вокруг себя, передвигал ногами вместе с другими до тех пор, пока все остановились, и он остановился. Одна мысль за все это время была в голове Пьера. Это была мысль о том: кто, кто же, наконец, приговорил его к казни. Это были не те люди, которые допрашивали его в комиссии: из них ни один не хотел и, очевидно, не мог этого сделать. Это был не Даву, который так человечески посмотрел на него. Еще бы одна минута, и Даву понял бы, что они делают дурно, но этой минуте помешал адъютант, который вошел. И адъютант этот, очевидно, не хотел ничего худого, но он мог бы не войти. Кто же это, наконец, казнил, убивал, лишал жизни его – Пьера со всеми его воспоминаниями, стремлениями, надеждами, мыслями? Кто делал это? И Пьер чувствовал, что это был никто.
Это был порядок, склад обстоятельств.
Порядок какой то убивал его – Пьера, лишал его жизни, всего, уничтожал его.


От дома князя Щербатова пленных повели прямо вниз по Девичьему полю, левее Девичьего монастыря и подвели к огороду, на котором стоял столб. За столбом была вырыта большая яма с свежевыкопанной землей, и около ямы и столба полукругом стояла большая толпа народа. Толпа состояла из малого числа русских и большого числа наполеоновских войск вне строя: немцев, итальянцев и французов в разнородных мундирах. Справа и слева столба стояли фронты французских войск в синих мундирах с красными эполетами, в штиблетах и киверах.
Преступников расставили по известному порядку, который был в списке (Пьер стоял шестым), и подвели к столбу. Несколько барабанов вдруг ударили с двух сторон, и Пьер почувствовал, что с этим звуком как будто оторвалась часть его души. Он потерял способность думать и соображать. Он только мог видеть и слышать. И только одно желание было у него – желание, чтобы поскорее сделалось что то страшное, что должно было быть сделано. Пьер оглядывался на своих товарищей и рассматривал их.
Два человека с края были бритые острожные. Один высокий, худой; другой черный, мохнатый, мускулистый, с приплюснутым носом. Третий был дворовый, лет сорока пяти, с седеющими волосами и полным, хорошо откормленным телом. Четвертый был мужик, очень красивый, с окладистой русой бородой и черными глазами. Пятый был фабричный, желтый, худой малый, лет восемнадцати, в халате.