Инструмент для реализации правильного SEO

для реализации правильного SEO

Когда начинают говорить о правильном SEO , большинство людей понимают, что достаточно иметь уникальный контент и подбор в статистике поисковых систем.

 

Однако при продвижении и раскрутке сайта необходимо уделять вниманию такому показателю как индексация сайта, и то насколько полной и быстрой будет индексация вашего сайта, зависит весь дальнейший успех продвижения и работы сайта.

Почему так важно управлять индексацией сайта посредством файла robots.txt

Файл robots.txt является, в некотором роде, инструкцией для поисковых роботов. Он вносится в корневую папку сайта и управляет поведением поисковых роботов, главным образом, запрещая индексацию той или иной части сайта.

Входя на сайт, поисковый робот, прежде всего, анализирует структуру и обращается к файлу robots.txt. Внешне файл robots.txt выглядит следующим образом:

User-agent:

* Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /junk/

В данном случае директива «Disallow» запрещает индексацию трех папок /cgi-bin/, /tmp/, /junk/ . Очень большое значение имеет косая черта «/» после «Disallow» , она обозначает запрет индексации сайта целиком всеми роботами. Однако если после «Disallow» не будет фигурировать «/», то ситуация прямо противоположная – весь сайт разрешён для индексации всеми роботами.

С помощью данного инструмента администратор может указать, может страница быть проиндексирована или нет, или проанализирована на наличие ссылок, используя специальный HTML META тег.

Рекомендации для оптимизации работы с файлом robots.txt

  • пробел в начале строки разрешается, но не рекомендуется,
  • по возможности не используйте комментарии вообще. Если без этого не обойтись, пишите комментарии на отдельной строке,
  • директивы «Allow» – не существует, только «Disallow»,
  • не прописывайте несколько директив Disallow в одной строке,
  • одна из самых распространенных ошибок - перевернутый синтаксис,
  • всегда после того, как вы закачали файл robots.txt на сервер, проверяйте его.

Выводы

Для реализации правильного SEO, запрет индексации в robots.txt является идеальным решением трудностей, возникающих, когда при индексации в поисковые системы попадет множество страниц, не имеющих отношения к содержимому сайта, а также когда происходит многократное дублирование контента информации (по разным ссылкам будет доступен один и тот же материал сайта), чего не любят поисковые системы.

 

 

Добавить комментарий


Защитный код
Обновить

Joomla SEF URLs by Artio

Cкачайте приложение на Андроид и будьте в курсе новостей
Интернет-маркетинга всегда!

Joomla Templates and Joomla Extensions by ZooTemplate.Com

WebSEOHelp

smp-forum.ru


.
Наверх
закрыть