Robots.txt

Robots.txt — файл, обычно размещающийся в корневом каталоге сайта и содержащий различные инструкции для поисковых роботов.

С помощью такого файла владельцы Интернет ресурсов и специалисты, занимающиеся продвижением сайтов, могут контролировать поведение поисковых роботов (например, не разрешать индексировать определенную часть сайта) и достигать, таким образом, наилучших результатов в раскрутке сайта.

Поисковые системы и robots.txt

Первым делом, входя на сайт, поисковый робот обращается к файлу robots.txt. Поэтому данный файл так важен. Ведь в нем УКАЗАНО: что и как индексировать на сайте. Для этого используются специальные директивы.

Для стандартного блога на платформе Wordpress файл robots.txt будет выглядеть следующим образом:

User-agent: *

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: */comments*
Disallow: /search
Disallow: /author/*
Disallow: /tag/*
Disallow: /page/*
Disallow: /comment-page*
Disallow: /category
Disallow: /wp-login.php
Sitemap: site.ru/sitemap.xml
Host: site.ru

Такой файл robots.txt определяет запрет индексации (директива Disallow): папок администратора, комментариев, результатов поиска (в том числе по тегам), категорий. А так же определяет, какой сайт является основным (для отличия его от зеркал). И указывает, где расположена карта сайта. Звёздочка же, расположенная после фразы User-agent, указывает на то, что инструкции в файле даны для всех поисковых систем.

Файл robots.txt может быть намного короче. Например, можно указать всего одну директиву Disallow. И очень важно – ЧТО будет стоять после нее в той де строке.

Например:

  • User-agent: *
  • Disallow: /

Такая запись указывает на то, что индексация данного сайта полностью запрещена всем роботам.

И наоборот, если слэш (косая черта) после директивы Disallow будет отсутствовать – это будет значить, что весь сайт разрешён для индексации всеми роботами.

История появления файлов robots.txt

Стандарт написания файлов robots.txt  появился в июне 1994 года, когда администраторы поисковых систем договорились о разработке единого программного средства управления действиями поисковых роботов на сайтах. К такому соглашению они пришли после того, как количество сайтов в Интернет достигло некоего критичного количества. И поисковым системам стало проблематично обрабатывать все веб-страницы, как это было до этого.



Звоните сейчас - покажем, расскажем, проконсультируем:
+7 (831) 414 57 75
Создание и продвижение сайтов в Нижнем Новгороде
(831) 414 57 75Пн - Пт, 09 - 18
Нижний Новгородпер.Нартова, 2г