Что такое Robots.txt?

Что такое Robots.txt?

Robots.txt — это текстовый файл в корневом каталоге Вашего сайта. Он содержит инструкции для поисковых роботов. С помощью этого файла можно запретить индексацию определенных страниц и разделов Вашего сайта, указать основное зеркало сайта, а так же указать на путь к файлу sitemap.

Полезность robots.txt можно наблюдать на примере закрытия от индексации технических разделов Вашего сайта. Если технические страницы у Вас открыты для индексации, то поисковая система постарается выбросить из индекса эти страницы. Случайно она может закрыть и полезные страницы Вашего сайта.

Как создать robots.txt?

Создать файл robots.txt можно с помощью обычного блокнота. Поместить его в корневой каталог Вашего сайт. Первое что сделает робот поисковой системы, зайдя к Вам на сайт, это прочтет файл с инструкциями.

Как настроить robots.txt?

Для настройки robots.txt используется две основные директивы User-agent и Disallow. Первая директива определяет какой именно поисковой робот будет выполнять запрет на индексацию, прописанный во второй директиве. Пример: User-agent:* Disallow:/ - в таком виде инструкция будет запрещать к индексации весь сайт для всех поисковиков. Если после Disallow прописать путь к каталогу или файлу, то робот перестанет их индексировать. Никогда не прописывайте несколько путей в одной строке, такая строка не будет работать. Если вы хотите наоборот открыть файл или директорию к индексации, то воспользуйтесь командой Allow.

Так же в robots.txt используются и дополнительные директивы:

Директива Host

Используется в том случае, если у Вашего сайта есть несколько зеркал. Эта директива указывает на основное зеркало Вашего сайта. Именно он будет присутствовать в выдачах поисковых систем.

Директива SiteMap  

Это команда, которая помогает поисковому роботу определить где находится файл с картой Вашего сайта.

Директива Crawl-delay

Используется для задержки между загрузкой страниц Вашего сайта поисковым роботом. Это будет полезно в том случае, если на Вашем сайте очень много страниц. Например: Crawl-delay: 5 — пауза между загрузками страниц будет составлять 5 секунд.

Директива Request-rate

Отвечает за периодичность загрузки страниц поисковым роботом. Например: Request-rate: 1/10 - робот будет загружать одну страницу в 10 секунд.

Директива Visit-time

Определяет промежуток времени в который роботу разрешено загружать страницы. Время нужно выставлять по Гринвичу Visit-time: 0400-0600.

К чему приведет неправильная настройка robots.txt?

Некорректная настройка файла robots.txt может привести к тому, что к поиску будут открыты страницы, содержащие конфиденциальную информацию о Ваших пользователях или покупателях, и наоборот, нужные страницы могут быть запрещены к индексации роботами поисковых систем.

Как проверить правильность настройки robots.txt?

Для этого можно воспользоваться сервисом Яндекс.Вебмастер, который называется Анализ robots.txt. Впишите в поле имя проверяемого домена и Вы увидите все ошибки.

Добавить комментарий


Защитный код
Обновить

Cкачайте приложение на Андроид и будьте в курсе новостей
Интернет-маркетинга всегда!

Joomla Templates and Joomla Extensions by ZooTemplate.Com

WebSEOHelp

smp-forum.ru


.
Наверх
закрыть