Всем здравствуйте! Сегодня хочу поговорить немного об индексации сайта поисковыми системами. В этой статье мы рассмотрим, как создавать карту сайта для поисковых систем, а также как настроить правильную индексацию сайта на WordPress с помощью файла robots.txt.
Поисковые системы очень часто индексируют то, чего вообще не надо, например адрес админского блока: а зачем он в поиске? А на сайте, который сделан на основе WordPress имеется достаточно страниц, которые совсем не нужны в индексе. Вот мы и будем закрывать доступ от индексации такие страницы, это мы будем делать при помощи файла robots.txt, но для начала мы создадим карту сайт который сделан на WordPress.
Для создания карты сайта для WordPress-сайта я выбрал плагин Google XML Sitemaps. Данный плагин я считаю одним из лучших, который предназначен для создания карты сайта. Для того чтобы ее создать необходимо скачать файлы sitemap.xml и sitemap.xml.gz (их я приложу в конце статьи), либо же Вы можете сами создать данные файлы. Сам файл sitemap.xml.gz содержит сжатую форму карты сайта, которая воспринимается некоторыми поисковыми системами.
После того, как вы создали 2 этих файла или скачали, необходимо их поместить в корневой каталог Вашего хостинга, обычно это public_html, также необходимо задать права доступа для данных файлов – 777, в Total Commander это делается с помощью команды Файлы-Изменить атрибуты.
У нас все подготовлено, остается дело за малым: скачать и установить сам плагин Google XML Sitemaps, как только его скачаете и установите, заходим в админском блоке – Параметры-XML-Sitemap и нажимаем на ссылку Нажмите здесь, если все сделали правильно, Вам должно появиться сообщение о том, что Ваша карта была создана удачно такого-то числа.
Теперь для правильной индексации страниц необходимо настроить файл robots.txt, он у меня получился следующего вида:

Исходный код

User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 
Host: pressdev.ru
 
Sitemap: http://pressdev.ru/sitemap.xml.gz
 
Sitemap: http://pressdev.ru/sitemap.xml

Как видите, я закрываю от индексации  страницы, которые совсем не нужны в индексе, а роботы поисковые и их бы проиндексировали, если бы не указал в файле robots.txt. В конце файла указываю расположение свой карты сайта, чтобы поисковые системы как можно быстрее проиндексировали весь сайт.

Жду Вас в следующих статьях!

sitemap.xml