Правильный файл Robots.txt для WordPress 2015

И снова Здравствуйте! На связи Владимир Савельев, с очередной порцией полезных знаний, в области сайтостроения на движке Вордпресс. Сегодня поговорим о таком важном файле как - Robots.txt для WordPress и не только.

В прошлой статье кстати, я рассказал Вам как сделать слайдер на Вордпресс, кому интересно обязательно почитайте...

Robots.txt для WordPress – специальный текстовый файл, который содержит служебные инструкции по индексации, адресованные роботам поисковых систем. Данную электронную запись составляют в обычном блокноте и размещают в корневой директории web-проекта, что позволяет ботам проводить индексацию страниц именно по ее правилам.

Robots.txt является одним из самых важных файлов для интернет-ресурса. Его наличие – неотъемлемое условие для качественной оптимизации проекта под поисковые системы.
Общеизвестно, что в сайтах на движке wordpress имеется множество копий (дублей) основного контента, снижающих его уникальность, что грозит серьезными штрафными санкциями от поисковых ботов.

Грамотно настроенный роботс существенно облегчит работу роботов поисковиков, улучшит индексацию ресурса и не даст засорять поисковую выдачу дублированными записями и прочим ненужным мусором. Пользуясь этим файлом, можно скрывать от индексации разделы ресурса, которые содержат определенную информацию и рассчитаны на целевую аудиторию, а не на ботов поиска.

Кроме того, Robots.txt поможет ограничить доступ на сайт различных спамерских программ, сканирующих ресурс на наличие emails с целью последующего засорения спам информацией.

Образец правильного файла Robots.txt 2015 года

Представляю вам оптимальный вариант готового файла robots txt для ресурса на движке wordpress. Для одного web-проекта требуется одна такая электронная запись, содержащая инструкции для роботов всех поисковиков. Создавать отдельные роботс файлы под каждую поисковую систему не нужно.

Стандартный образец robots.txt:
[sociallocker]

User-agent: *
Disallow: /wp-includes/
Disallow: */feed
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Sitemap: https://savme.ru/sitemap.xml
Host: savme.ru

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

[/sociallocker]

Понятно, что в графу "ваш домен" необходимо прописать адрес вашего ресурса.

Разберем по порядку, какая строка за что отвечает.

User-agent – директива поиска, которой обозначается – к какому поисковому боту адресована данная инструкция. У каждого поисковика есть свои ключевые роботы (Google, Yandex) и еще десяток специфических, а также специальные боты, сканирующие микроразметку ресурса. Если вы задаете одинаковые правила для всех поисковых роботов, в директиве User-agent прописывается символ «звездочка» (*);
Allow – директива, при помощи которой вы индексируете и добавляете к поисковой выдаче страницы, разделы и ссылки;
Disallow – команда, налагающая запрет на индексацию выбранных директорий ресурса. Используется для запрета индексировать панель админа, служебные разделы и удаления дублированных (копий) страниц. Под копиями понимают идентичные страницы, доступ к которым открыт по разным адресам;
Sitemap – директива, указывающая поисковому боту на местоположение карты ресурса, отражающей структуру его материалов. Здесь прописывается адрес карты web-проекта (используется заархивированный вид или формат XML). Важно! Обязательно проверьте, что через данный адрес действительно открывается карта сайта;
Host – директива адреса или главного хоста вашей web-площадки. Совпадает с ее доменным именем.

Почему я открыл доступ индексации для ПС к некоторым папкам?

В свете последних событий, я уверен, что у большинства блогов на WordPress - Robots.txt не совсем правильный! Не веришь?! Сейчас объясню почему...

Так вот, дело было так! Как обычно анализируя свой блог на самые разные параметры, зашел в кабинет веб-мастера Google, во вкладку - индекс Google - Заблокированные ресурсы и упал со стула :razz:
Как видно из скрина, почти все страницы содержат ошибки из-за того что ПС не может нормально прочитать файлы...

А вот что пишет сам Google:

Ну я думаю теперь Вам стало все понятно?! Нужно открыть доступ в Robots на скрипты, стили, картинки! Короче, исправляем ошибки которые там указаны, в моем случае - это:

Так вот, смотрим какие ресурсы Google не может прочитать на Вашем сайте и вносим правку в стандартный образец robots который я давал выше. То есть даем разрешение для ПС (параметр Allow) на определенные пути к папкам, которые он не может прочитать!

Посмотрите пример моего документа - https://savme.ru/robots.txt, если что не поняли... И не забудьте рассказать об этом своим друзьям! Я вот случайно обнаружил, так бы и не знал об этом...

Делаем Robots.txt для WordPress при помощи конструктора

Если у вас нет времени на самостоятельную работу с роботс или вы опасаетесь, что не справитесь, можно сгенерировать нужные директивы при помощи несложного конструктора, например тут.

1. В первой графе прописываем адрес сайта;

2. Далее конструктор предложит вам определить поисковик, под который станут задаваться инструкции. Вы можете подобрать несколько поисковых систем;

3. Следующий шаг – выбираем папки и файлы, для которых будет закрыт доступ; прописываем адрес зеркала ресурса и указываем месторасположение его карты;

4. По ходу наполнения граф, внизу начнут отображаться необходимые директории. Скопируем их в txt файл и зададим ему название – robots.

Проверка robots.txt на эффективность

А сейчас проанализируем, насколько эффективна работа файла роботс в системе поиска Yandex. Открываем раздел Yandex Webmaster и переходим к соответствующей вкладке. В диалоговом окошке указываем название ресурса и нажимаем кнопочку «загрузить».

Сервис проведет анализ эффективности вашего роботс и сделает вывод – будут ли поисковые роботы обходить страницы, на индексацию которых вы наложили запрет. При возникновении проблемных ситуаций, директивы можно исправлять, редактируя их прямо в диалоговой строке.
Закончив правку, обновленную версию записи необходимо скопировать и добавить в файл robots.txt, расположенный в корневой директории. Подобной услугой можно также воспользоваться и в сервисе «Инструменты для web-мастеров» поисковой системы Google.

На этом все! Если есть какие-либо вопросы пишите в комментариях, Вам обязательно кто нибудь ответит, возможно даже я ;)

Дорогие друзья! Впереди еще очень много полезного материала, если Вам реально интересна тема создания сайтов и блогов на Вордпресс, а так же Я - как автор, то рекомендую подписаться на обновления блога! Сделать это можно в любой форме подписки - куда кот показывает :) По секрету скоро запущу интересный конкурс.

Вот что Яндекс говорит про Robots

Всего Вам только самого хорошего...