Глубокая паутина
Глубокая паутина (также известная как «Невидимая сеть», «Глубокая сеть»; англ. Deep Web;) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от соотв. англ. invisible web[1]. Наиболее значительной частью глубокой паутины является Глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн-базам данных[2].
Не следует смешивать понятие Глубокая паутина с понятием Тёмная паутина (от англ. Dark web), под которым имеются в виду сетевые сегменты, хотя и подключённые к общей сети Интернет, но требующие для доступа определенные программные средства.
Содержание
Суть проблемы
В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками (например, тупиковые веб страницы, динамически создаваемые скриптами на самих сайтах по запросу на которые не ведут прямые ссылки), а также сайты, доступ к которым открыт только для зарегистрированных пользователей и интернет-страницы, доступные только по паролю.
Поисковые системы используют специальных поисковых роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются, занося их содержимое и гиперссылки на них в свои базы данных. Далее поисковый бот, находя на данной веб-странице ссылку на другие веб-страницы, также переходит по ним и индексирует уже содержимое каждой из них, далее бот находит новые гиперссылки и индексирует уже их содержимое, таким образом цикл повторяется раз за разом. Некоторые веб-страницы, не имеющие внешних ссылок на себя, остаются таким образом не замеченными поисковыми ботами и не заносятся в базы данных поисковой системы. Таким образом без знания прямого URL-адреса сайта в сети интернет обычный пользователь более никаким образом не может попасть на сайты или веб-страницы «Глубокой сети».
Также в «Глубокую сеть» попадают сайты, владельцы которых добровольно отказались от индексации поисковыми системами (например, с помощью файла «robots.txt»), а также сайты и веб-страницы, защищенные авторизацией от просмотра информации третьими лицами. В таком случае, не зная логин и (или) пароль к веб-странице, невозможно в полной мере просмотреть её содержимое или пользоваться веб-сайтом.
Масштаб
Размер глубокой паутины неизвестен. Существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн-базам данных: около 300 тысяч таких сайтов во всём Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году[3][4]. Обычные пользователи бывают потрясены, когда узнают о том, что глубокая паутина превышает по своей информационной ёмкости доступный им интернет как минимум в 600 раз[5][неавторитетный источник? 3020 дней].
Поиск по глубокой паутине
В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов. Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.
Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях[6].
Специальные поисковые машины:
- [Ru.Search.Yahoo.Com/subscriptions Yahoo! Subscriptions]
- [qprober.cs.columbia.edu/ QProber: Классификация и поиск по «скрытым» базам данных]
- [metaquerier.cs.uiuc.edu/ MetaQuerier: Обследуя и интегрируя глубокую паутину]
- [aip.completeplanet.com/ CompletePlanet: Поиск по базам данных и специальным движкам]
См. также
Напишите отзыв о статье "Глубокая паутина"
Примечания
- ↑ Gary Price, Chris Sherman. The Invisible Web: Uncovering Information Sources Search Engines Can’t See. — CyberAge Books, 2001, ISBN 0-910965-51-X.
- ↑ Денис Шестаков, Наталья Воронцова (2005). «[elar.usu.ru/handle/1234.56789/1416 Структура русскоязычной части глубинного Веба]». Интернет-математика 2005, стр.320-341.
- ↑ Denis Shestakov (2011). «[www.mendeley.com/download/public/1423991/4300016182/a07080a3191f90cc97cf60fcd21566b1b915d894/dl.pdf Sampling the National Deep Web]». Proceedings of the 22nd International Conference on Database and Expert Systems Applications (DEXA), стр.331-340.
- ↑ [www.brightplanet.com/2014/11/big-internet/ How big is the internet?].
- ↑ [hrazvedka.ru/guru/xoroshee-i-ploxoe-v-deep-web.html Хорошее и плохое в Deep Web].
- ↑ Игорь Райхман, 2013, с. 118.
Литература
- Игорь Райхман. Практика медиа измерений. Аудит. Отчетность. Оценка эффективности PR. — М.: Альпина Паблишер, 2013. — 432 с. — ISBN 978-5-9614-4499-5.
Отрывок, характеризующий Глубокая паутина
Несвицкий был тут же, как старый член клуба. Пьер, по приказанию жены отпустивший волоса, снявший очки и одетый по модному, но с грустным и унылым видом, ходил по залам. Его, как и везде, окружала атмосфера людей, преклонявшихся перед его богатством, и он с привычкой царствования и рассеянной презрительностью обращался с ними.По годам он бы должен был быть с молодыми, по богатству и связям он был членом кружков старых, почтенных гостей, и потому он переходил от одного кружка к другому.
Старики из самых значительных составляли центр кружков, к которым почтительно приближались даже незнакомые, чтобы послушать известных людей. Большие кружки составлялись около графа Ростопчина, Валуева и Нарышкина. Ростопчин рассказывал про то, как русские были смяты бежавшими австрийцами и должны были штыком прокладывать себе дорогу сквозь беглецов.
Валуев конфиденциально рассказывал, что Уваров был прислан из Петербурга, для того чтобы узнать мнение москвичей об Аустерлице.
В третьем кружке Нарышкин говорил о заседании австрийского военного совета, в котором Суворов закричал петухом в ответ на глупость австрийских генералов. Шиншин, стоявший тут же, хотел пошутить, сказав, что Кутузов, видно, и этому нетрудному искусству – кричать по петушиному – не мог выучиться у Суворова; но старички строго посмотрели на шутника, давая ему тем чувствовать, что здесь и в нынешний день так неприлично было говорить про Кутузова.
Граф Илья Андреич Ростов, озабоченно, торопливо похаживал в своих мягких сапогах из столовой в гостиную, поспешно и совершенно одинаково здороваясь с важными и неважными лицами, которых он всех знал, и изредка отыскивая глазами своего стройного молодца сына, радостно останавливал на нем свой взгляд и подмигивал ему. Молодой Ростов стоял у окна с Долоховым, с которым он недавно познакомился, и знакомством которого он дорожил. Старый граф подошел к ним и пожал руку Долохову.
– Ко мне милости прошу, вот ты с моим молодцом знаком… вместе там, вместе геройствовали… A! Василий Игнатьич… здорово старый, – обратился он к проходившему старичку, но не успел еще договорить приветствия, как всё зашевелилось, и прибежавший лакей, с испуганным лицом, доложил: пожаловали!
Раздались звонки; старшины бросились вперед; разбросанные в разных комнатах гости, как встряхнутая рожь на лопате, столпились в одну кучу и остановились в большой гостиной у дверей залы.
В дверях передней показался Багратион, без шляпы и шпаги, которые он, по клубному обычаю, оставил у швейцара. Он был не в смушковом картузе с нагайкой через плечо, как видел его Ростов в ночь накануне Аустерлицкого сражения, а в новом узком мундире с русскими и иностранными орденами и с георгиевской звездой на левой стороне груди. Он видимо сейчас, перед обедом, подстриг волосы и бакенбарды, что невыгодно изменяло его физиономию. На лице его было что то наивно праздничное, дававшее, в соединении с его твердыми, мужественными чертами, даже несколько комическое выражение его лицу. Беклешов и Федор Петрович Уваров, приехавшие с ним вместе, остановились в дверях, желая, чтобы он, как главный гость, прошел вперед их. Багратион смешался, не желая воспользоваться их учтивостью; произошла остановка в дверях, и наконец Багратион всё таки прошел вперед. Он шел, не зная куда девать руки, застенчиво и неловко, по паркету приемной: ему привычнее и легче было ходить под пулями по вспаханному полю, как он шел перед Курским полком в Шенграбене. Старшины встретили его у первой двери, сказав ему несколько слов о радости видеть столь дорогого гостя, и недождавшись его ответа, как бы завладев им, окружили его и повели в гостиную. В дверях гостиной не было возможности пройти от столпившихся членов и гостей, давивших друг друга и через плечи друг друга старавшихся, как редкого зверя, рассмотреть Багратиона. Граф Илья Андреич, энергичнее всех, смеясь и приговаривая: – пусти, mon cher, пусти, пусти, – протолкал толпу, провел гостей в гостиную и посадил на средний диван. Тузы, почетнейшие члены клуба, обступили вновь прибывших. Граф Илья Андреич, проталкиваясь опять через толпу, вышел из гостиной и с другим старшиной через минуту явился, неся большое серебряное блюдо, которое он поднес князю Багратиону. На блюде лежали сочиненные и напечатанные в честь героя стихи. Багратион, увидав блюдо, испуганно оглянулся, как бы отыскивая помощи. Но во всех глазах было требование того, чтобы он покорился. Чувствуя себя в их власти, Багратион решительно, обеими руками, взял блюдо и сердито, укоризненно посмотрел на графа, подносившего его. Кто то услужливо вынул из рук Багратиона блюдо (а то бы он, казалось, намерен был держать его так до вечера и так итти к столу) и обратил его внимание на стихи. «Ну и прочту», как будто сказал Багратион и устремив усталые глаза на бумагу, стал читать с сосредоточенным и серьезным видом. Сам сочинитель взял стихи и стал читать. Князь Багратион склонил голову и слушал.
