Всем привет дорогие друзья, в данной статье мы с Вами поговорим про X-Robots-Tag, но прежде чем переходить к обсуждению, давайте немного вспомним про Robots.txt. Мы уже с Вами говорили про данный файл, так как его знать должны все вебмастера. Именно при помощи данного плагина мы можем скрывать контент от поисковых систем. Контент можно скрывать и при помощи тегов, про это мы уже тоже с Вами разговаривали.
Вообще можно использовать robots 2-мя способами:
Первый способ. Это использование файла robots.txt. В данном файле Вы можете скрывать папки от поисковых систем, а также файлы. Данный файл должен располагаться в корневом каталоге Вашего домена, либо же поддомена. Что касается синтаксиса файла, то он примерно следующий:
User-agent: *
Disallow:Кроме этого, в данном файле Вы располагаете не только папки и файлы, которые необходимо скрыть от поисковых систем, но и карту сайта, чтобы Ваш ресурс начался быстрее индексироваться поисковиками.
Второй способ. Это использование robots мета-тег. Вы можете контролировать свои страницы от индексации в самом html-коде страницы, для этого Вам необходимо лишь добавить соответствующий мета-тег в <head> страницы:
Ну а теперь давайте перейдем к разговору к X-Robots-Tag. Если Вы использования robots.txt или же robots мета-тег для того, чтобы закрывать от индексации страницы, папки, файлы от поисковых систем, то Вам не надо использовать тогда X-Robots-Tag.
Что же такое X-Robots-Tag?
Вы можете использовать X-Robots-Tag в качестве элемента HTTP-заголовка, который отвечает за адрес страницы.
Вы можете также задать для конкретной страницы, не индексировать ее:
Какая польза от использования X-Robots-Tag?
- Вы можете его использовать в тех случаях, когда нет возможности использовать robots.txt, либо же robots мета-тег, например файлы, которые не имеют расширения html (это картинки, видео или аудио файлы, флеш).
- Вы можете использовать его на сайт, которые поддерживают .htaccess или же httpd.conf.
- Вы можете использовать и другие артибуты: nosnipet, noodp, notranslate, в принципе так же можно использовать и в robots мета-тег.
В общем можно сказать, что использование X-Robots-Tag можно избежать и даже лучше это делать, если имеется возможность использовать robots.txt или же robots мета-тег.
Также советуем почитать на PressDev.RU
Короткая ссылка: http://pressdev.ru/?p=4786
Loading...