Стандарт исключений для роботов

Стандарт исключений для роботов (code>robots.txt</code) — [файл]ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps.

Использование файла добровольно. Стандарт был принят консорциумом W3C 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.

Файл robots.txt может использоваться для указания расположения файла и может показать, что именно нужно, в первую очередь, проиндексировать поисковому роботу.

Описание структуры

Файл состоит из записей. Записи разделяются одной или более пустых строк (признак конца строки: символы CR, CR+LF, LF). Каждая запись содержит непустые строки следующего вида:

<поле>:<необязательный пробел><значение><необязательный пробел>

где поле — это либо User-agent, либо Disallow.

Сравнение производится методом простого поиска подстроки. Например, запись Disallow: /about запретит доступ как к разделу example.com/about/, так и к файлу example.com/about.php, а запись Disallow: /about/ — только к разделу example.com/about/.

Проверка синтаксиса

Для проверки синтаксиса и структуры файла robots.txt существует ряд специализированных онлайн-служб.

• [webmaster.yandex.ru/robots.xml Служба Яндекса (выполняет проверку синтаксиса и разрешения для каждой отдельной страницы)]  (рус.)
• [www.google.com/webmasters/tools/siteoverview?hl=ru Google webmasters tools (позволяет проверить разрешения для каждой отдельной страницы)]  (рус.)

Примеры

Запрет доступа всех роботов ко всему сайту:

 User-agent: *
 Disallow: /

Запрет доступа определённого робота к каталогу /private/:

 User-agent: googlebot
 Disallow: /private/

Нестандартные директивы

Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер. Впрочем, современные поисковые машины по умолчанию задают достаточную задержку в 1-2 секунды. На данный момент эта директива не учитывается Googlebot.

 User-agent: *
 Crawl-delay: 10

Allow: имеет действие, обратное директиве Disallow — разрешает доступ к определенной части ресурса. Поддерживается всеми основными поисковиками. В следующем примере разрешается доступ к файлу photo.html, а доступ поисковиков ко всей остальной информации в каталоге /album1/ запрещается.

 Allow: /album1/photo.html
 Disallow: /album1/

Расширенный стандарт

В 1996 году был предложен [www.conman.org/people/spc/robots2.html расширенный стандарт robots.txt], включающий такие директивы как Request-rate и Visit-time. Например:

 User-agent: *
 Disallow: /downloads/
 Request-rate: 1/5         # загружать не более одной страницы за пять секунд
 Visit-time: 0600-0845     # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.

Особенности поддержки стандарта поисковыми роботами

Рамблер поддерживает только базовый вариант стандарта - только директивы User-agent и Disallow

См. также

• Sitemaps
• Favicon.ico

Ссылки

• [www.robotstxt.org/orig.html A Standard for Robot Exclusion]  (англ.)
• [robotstxt.org.ru/ Русскоязычный аналог robotstxt.org] — все о файле robots.txt по-русски и о русскоязычных роботах
• [help.yandex.ru/webmaster/?id=996567 Использование robots.txt] — официальная помощь Яндекса
• [break-people.ru/cmsmade/index.php?page=wwweb_basic_list_robots Список отловленных роботов] Название и краткое описание реально действующих роботов в Рунете

Отрывок, характеризующий Стандарт исключений для роботов

– Послушайте, князь, – сказала она, – я никогда не просила вас, никогда не буду просить, никогда не напоминала вам о дружбе моего отца к вам. Но теперь, я Богом заклинаю вас, сделайте это для моего сына, и я буду считать вас благодетелем, – торопливо прибавила она. – Нет, вы не сердитесь, а вы обещайте мне. Я просила Голицына, он отказал. Soyez le bon enfant que vous аvez ete, [Будьте добрым малым, как вы были,] – говорила она, стараясь улыбаться, тогда как в ее глазах были слезы.
– Папа, мы опоздаем, – сказала, повернув свою красивую голову на античных плечах, княжна Элен, ожидавшая у двери.
Но влияние в свете есть капитал, который надо беречь, чтоб он не исчез. Князь Василий знал это, и, раз сообразив, что ежели бы он стал просить за всех, кто его просит, то вскоре ему нельзя было бы просить за себя, он редко употреблял свое влияние. В деле княгини Друбецкой он почувствовал, однако, после ее нового призыва, что то вроде укора совести. Она напомнила ему правду: первыми шагами своими в службе он был обязан ее отцу. Кроме того, он видел по ее приемам, что она – одна из тех женщин, особенно матерей, которые, однажды взяв себе что нибудь в голову, не отстанут до тех пор, пока не исполнят их желания, а в противном случае готовы на ежедневные, ежеминутные приставания и даже на сцены. Это последнее соображение поколебало его.
– Chere Анна Михайловна, – сказал он с своею всегдашнею фамильярностью и скукой в голосе, – для меня почти невозможно сделать то, что вы хотите; но чтобы доказать вам, как я люблю вас и чту память покойного отца вашего, я сделаю невозможное: сын ваш будет переведен в гвардию, вот вам моя рука. Довольны вы?
– Милый мой, вы благодетель! Я иного и не ждала от вас; я знала, как вы добры.
Он хотел уйти.
– Постойте, два слова. Une fois passe aux gardes… [Раз он перейдет в гвардию…] – Она замялась: – Вы хороши с Михаилом Иларионовичем Кутузовым, рекомендуйте ему Бориса в адъютанты. Тогда бы я была покойна, и тогда бы уж…
Князь Василий улыбнулся.
– Этого не обещаю. Вы не знаете, как осаждают Кутузова с тех пор, как он назначен главнокомандующим. Он мне сам говорил, что все московские барыни сговорились отдать ему всех своих детей в адъютанты.
– Нет, обещайте, я не пущу вас, милый, благодетель мой…
– Папа! – опять тем же тоном повторила красавица, – мы опоздаем.
– Ну, au revoir, [до свиданья,] прощайте. Видите?
– Так завтра вы доложите государю?
– Непременно, а Кутузову не обещаю.
– Нет, обещайте, обещайте, Basile, [Василий,] – сказала вслед ему Анна Михайловна, с улыбкой молодой кокетки, которая когда то, должно быть, была ей свойственна, а теперь так не шла к ее истощенному лицу.
Она, видимо, забыла свои годы и пускала в ход, по привычке, все старинные женские средства. Но как только он вышел, лицо ее опять приняло то же холодное, притворное выражение, которое было на нем прежде. Она вернулась к кружку, в котором виконт продолжал рассказывать, и опять сделала вид, что слушает, дожидаясь времени уехать, так как дело ее было сделано.
– Но как вы находите всю эту последнюю комедию du sacre de Milan? [миланского помазания?] – сказала Анна Павловна. Et la nouvelle comedie des peuples de Genes et de Lucques, qui viennent presenter leurs voeux a M. Buonaparte assis sur un trone, et exaucant les voeux des nations! Adorable! Non, mais c'est a en devenir folle! On dirait, que le monde entier a perdu la tete. [И вот новая комедия: народы Генуи и Лукки изъявляют свои желания господину Бонапарте. И господин Бонапарте сидит на троне и исполняет желания народов. 0! это восхитительно! Нет, от этого можно с ума сойти. Подумаешь, что весь свет потерял голову.]