Поисковый робот

Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами информационного поиска.

В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем веб-аналитики, принадлежащих поисковым сервисам. Например, таких как Google Analytics, Яндекс.Метрика и Рейтинг@Mail.ru от Google, Яндекса и Mail.Ru соответственно.

Ограничить индексацию сайта можно с помощью файла robots.txt. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.

См. также

• Поисковый индекс
• Полнотекстовый поиск
• Нормализация URL
• Бот (Интернет)

Ссылки

• [help.yandex.ru/webmaster/?id=995296 Яндекс.Вебмастер: Как работает робот] (рус.). Яндекс. Проверено 25 апреля 2009. [www.webcitation.org/619VqleX7 Архивировано из первоисточника 23 августа 2011].
• [www.google.ru/intl/ru/webmasters/bot.html Googlebot: Google's Web Crawler] (рус.). Google. Проверено 25 апреля 2009. [www.webcitation.org/619VtPx7c Архивировано из первоисточника 23 августа 2011].

Отрывок, характеризующий Поисковый робот

Пьер смотрел теперь бессмысленными глазами на этих стрелков, которые попарно выбегали из круга. Все, кроме одного, присоединились к ротам. Молодой солдат с мертво бледным лицом, в кивере, свалившемся назад, спустив ружье, все еще стоял против ямы на том месте, с которого он стрелял. Он, как пьяный, шатался, делая то вперед, то назад несколько шагов, чтобы поддержать свое падающее тело. Старый солдат, унтер офицер, выбежал из рядов и, схватив за плечо молодого солдата, втащил его в роту. Толпа русских и французов стала расходиться. Все шли молча, с опущенными головами.
– Ca leur apprendra a incendier, [Это их научит поджигать.] – сказал кто то из французов. Пьер оглянулся на говорившего и увидал, что это был солдат, который хотел утешиться чем нибудь в том, что было сделано, но не мог. Не договорив начатого, он махнул рукою и пошел прочь.


После казни Пьера отделили от других подсудимых и оставили одного в небольшой, разоренной и загаженной церкви.
Перед вечером караульный унтер офицер с двумя солдатами вошел в церковь и объявил Пьеру, что он прощен и поступает теперь в бараки военнопленных. Не понимая того, что ему говорили, Пьер встал и пошел с солдатами. Его привели к построенным вверху поля из обгорелых досок, бревен и тесу балаганам и ввели в один из них. В темноте человек двадцать различных людей окружили Пьера. Пьер смотрел на них, не понимая, кто такие эти люди, зачем они и чего хотят от него. Он слышал слова, которые ему говорили, но не делал из них никакого вывода и приложения: не понимал их значения. Он сам отвечал на то, что у него спрашивали, но не соображал того, кто слушает его и как поймут его ответы. Он смотрел на лица и фигуры, и все они казались ему одинаково бессмысленны.
С той минуты, как Пьер увидал это страшное убийство, совершенное людьми, не хотевшими этого делать, в душе его как будто вдруг выдернута была та пружина, на которой все держалось и представлялось живым, и все завалилось в кучу бессмысленного сора. В нем, хотя он и не отдавал себе отчета, уничтожилась вера и в благоустройство мира, и в человеческую, и в свою душу, и в бога. Это состояние было испытываемо Пьером прежде, но никогда с такою силой, как теперь. Прежде, когда на Пьера находили такого рода сомнения, – сомнения эти имели источником собственную вину. И в самой глубине души Пьер тогда чувствовал, что от того отчаяния и тех сомнений было спасение в самом себе. Но теперь он чувствовал, что не его вина была причиной того, что мир завалился в его глазах и остались одни бессмысленные развалины. Он чувствовал, что возвратиться к вере в жизнь – не в его власти.