Создание сайта/блога на WordPress — что может быть проще!
Robots.txt для Wordpress
Рубрика: Создание сайта WordPress

Правильный файл Robots.txt для WordPress 2015

71 комментарий   

И снова Здравствуйте! На связи Владимир Савельев, с очередной порцией полезных знаний, в области сайтостроения на движке Вордпресс. Сегодня поговорим о таком важном файле как — Robots.txt для WordPress и не только.

В прошлой статье кстати, я рассказал Вам как сделать слайдер на Вордпресс, кому интересно обязательно почитайте…

Robots.txt для WordPress – специальный текстовый файл, который содержит служебные инструкции по индексации, адресованные роботам поисковых систем. Данную электронную запись составляют в обычном блокноте и размещают в корневой директории web-проекта, что позволяет ботам проводить индексацию страниц именно по ее правилам.

что такое robots.txt

Robots.txt является одним из самых важных файлов для интернет-ресурса. Его наличие – неотъемлемое условие для качественной оптимизации проекта под поисковые системы.
Общеизвестно, что в сайтах на движке wordpress имеется множество копий (дублей) основного контента, снижающих его уникальность, что грозит серьезными штрафными санкциями от поисковых ботов.

Грамотно настроенный роботс существенно облегчит работу роботов поисковиков, улучшит индексацию ресурса и не даст засорять поисковую выдачу дублированными записями и прочим ненужным мусором. robots.txt и вордпресс Пользуясь этим файлом, можно скрывать от индексации разделы ресурса, которые содержат определенную информацию и рассчитаны на целевую аудиторию, а не на ботов поиска.

Кроме того, Robots.txt поможет ограничить доступ на сайт различных спамерских программ, сканирующих ресурс на наличие emails с целью последующего засорения спам информацией.

Образец правильного файла Robots.txt 2015 года

Представляю вам оптимальный вариант готового файла robots txt для ресурса на движке wordpress. Для одного web-проекта требуется одна такая электронная запись, содержащая инструкции для роботов всех поисковиков. Создавать отдельные роботс файлы под каждую поисковую систему не нужно.

Стандартный образец robots.txt:

Понятно, что в графу «ваш домен» необходимо прописать адрес вашего ресурса.

Разберем по порядку, какая строка за что отвечает.

  • User-agent – директива поиска, которой обозначается – к какому поисковому боту адресована данная инструкция. У каждого поисковика есть свои ключевые роботы (Google, Yandex) и еще десяток специфических, а также специальные боты, сканирующие микроразметку ресурса. Если вы задаете одинаковые правила для всех поисковых роботов, в директиве User-agent прописывается символ «звездочка» (*);
  • Allow – директива, при помощи которой вы индексируете и добавляете к поисковой выдаче страницы, разделы и ссылки;
  • Disallow – команда, налагающая запрет на индексацию выбранных директорий ресурса. Используется для запрета индексировать панель админа, служебные разделы и удаления дублированных (копий) страниц. Под копиями понимают идентичные страницы, доступ к которым открыт по разным адресам;
  • Sitemap – директива, указывающая поисковому боту на местоположение карты ресурса, отражающей структуру его материалов. Здесь прописывается адрес карты web-проекта (используется заархивированный вид или формат XML). Важно! Обязательно проверьте, что через данный адрес действительно открывается карта сайта;
  • Host – директива адреса или главного хоста вашей web-площадки. Совпадает с ее доменным именем.

Почему я открыл доступ индексации для ПС к некоторым папкам?

В свете последних событий, я уверен, что у большинства блогов на WordPress — Robots.txt не совсем правильный! Не веришь?! Сейчас объясню почему…

Так вот, дело было так! Как обычно анализируя свой блог на самые разные параметры, зашел в кабинет веб-мастера Google, во вкладку — индекс Google — Заблокированные ресурсы и упал со стула :razz:
robots-txt-2015-002Как видно из скрина, почти все страницы содержат ошибки из-за того что ПС не может нормально прочитать файлы…

А вот что пишет сам Google:
robots-txt-2015-003
Ну я думаю теперь Вам стало все понятно?! Нужно открыть доступ в Robots на скрипты, стили, картинки! Короче, исправляем ошибки которые там указаны, в моем случае — это:
robots-txt-2015-004

Так вот, смотрим какие ресурсы Google не может прочитать на Вашем сайте и вносим правку в стандартный образец robots который я давал выше. То есть даем разрешение для ПС (параметр Allow) на определенные пути к папкам, которые он не может прочитать!

Посмотрите пример моего документа — http://savme.ru/robots.txt, если что не поняли… И не забудьте рассказать об этом своим друзьям! Я вот случайно обнаружил, так бы и не знал об этом…

Делаем Robots.txt для WordPress при помощи конструктора

Если у вас нет времени на самостоятельную работу с роботс или вы опасаетесь, что не справитесь, можно сгенерировать нужные директивы при помощи несложного конструктора, например тут.

конструктор robots.txt

1. В первой графе прописываем адрес сайта;

2. Далее конструктор предложит вам определить поисковик, под который станут задаваться инструкции. Вы можете подобрать несколько поисковых систем;

3. Следующий шаг – выбираем папки и файлы, для которых будет закрыт доступ; прописываем адрес зеркала ресурса и указываем месторасположение его карты;

4. По ходу наполнения граф, внизу начнут отображаться необходимые директории. Скопируем их в txt файл и зададим ему название – robots.

Проверка robots.txt на эффективность

А сейчас проанализируем, насколько эффективна работа файла роботс в системе поиска Yandex. Открываем раздел Yandex Webmaster и переходим к соответствующей вкладке. В диалоговом окошке указываем название ресурса и нажимаем кнопочку «загрузить».

Проверка robots.txt с помощью Яндекса

Сервис проведет анализ эффективности вашего роботс и сделает вывод – будут ли поисковые роботы обходить страницы, на индексацию которых вы наложили запрет. При возникновении проблемных ситуаций, директивы можно исправлять, редактируя их прямо в диалоговой строке.
Закончив правку, обновленную версию записи необходимо скопировать и добавить в файл robots.txt, расположенный в корневой директории. Подобной услугой можно также воспользоваться и в сервисе «Инструменты для web-мастеров» поисковой системы Google.

На этом все! Если есть какие-либо вопросы пишите в комментариях, Вам обязательно кто нибудь ответит, возможно даже я ;)

Дорогие друзья! Впереди еще очень много полезного материала, если Вам реально интересна тема создания сайтов и блогов на Вордпресс, а так же Я — как автор, то рекомендую подписаться на обновления блога! Сделать это можно в любой форме подписки — куда кот показывает :) По секрету скоро запущу интересный конкурс.

Вот что Яндекс говорит про Robots

Всего Вам только самого хорошего…


Савельев Владимир Александрович
С уважением, Владимир Савельев

Премиум курсы от webformyself

Премиум-уроки от клуба webformyself

Это новый революционный продукт в области обучения сайтостроительству! Все лучшие видео-уроки собраны в одном месте и разделены на категории: WordPress, Joomla, PHP, HTML, CSS и JavaScript... База постоянно пополняется и уже сейчас в ней более 200 уроков! Всего за один год - Вы сможете стать опытным веб-мастером "с полного нуля"!
Подробнее
Продвижение в социальных сетях - сервис SocLike.ru
Прочтите еще:
Обсуждение статьи: 71 комментарий


  1. Василий Цубера 2015-01-22 в 14:17 

    Спасибо уже поменял! А вот насчет файлов и папок еще не очень понятно, когда нужно создать свою папку, то ее нужно куда то заносить?

    Ответить
    • Владимир Савельев 2015-01-22 в 20:33 

      смотря что за папка Василий если для индексации она не нужна то пропиши и ее там :razz:

      Ответить
      • Василий Цубера 2015-01-22 в 20:48 

        Ага я понял, просто по разному говорят, вот Борисов говорил в курсе 3.0 что нужно указывать туда все свои папки, а кто то говорит что не нужно, вот немного запутался. Но спасибо тебе!

      • Саня Сабегатулин 2015-06-30 в 04:47 

        А я с роботсом игрался очень долго, после того как форум добавил на сайт. Это был какой то ужас. Ну вроде бы разгреб.

  2. Никита Волков 2015-01-22 в 15:29 

    Так, ну вроде всё правильно было) Спасибо тебе, Вов за полезную информацию!

    Ответить
  3. Александр Приколист 2015-01-28 в 13:34 

    С этим robots я уже запутался. Кто что советует.
    Кто то перекрывать от индексации рубрики а у меня на них трафик с поиска идёт.

    К примеру сейчас настраиваю 1 видео сайт там основную внутреннюю ссылочную массу планируется лить именно на рубрики так как основное описание будет там.

    Ещё и с дублями которые одни пытаются перекрыть в robots, другие советуют этого не делать так как в коде вордпресса уже есть значения которые распознают дубли коментов

    Короче полнейшая ОПА и голова кругом
    :roll: :roll: :roll:

    Ответить
    • Владимир 2015-01-28 в 14:17 

      Александр да эт точно! Сколько людей сстолько и мнений! Кто на что горазд! Больно уж не заморачивайся :razz: а то точно с ума сойдешь :roll:

      Ответить
  4. Лиана 2015-01-28 в 18:23 

    Да, сложное это дело. Кому то подходит, а кому то нет.

    Ответить
  5. Владимир Савельев 2015-01-28 в 19:32 

    Главное не переусердствовать друзья, а то можно и нужное запретить :razz: или вообще нарушить нормальную индексацию

    Ответить
    • Саня Сабегатулин 2015-06-30 в 04:49 

      Ну да, и такое бывает. Ну это время покажет :smile: Если трафик упадет, то будет все ясно :smile:

      Ответить
  6. Татьяна 2015-02-03 в 19:37 

    Может сайт индексироваться без Sitemar карты, но при этом иметь robots.txt?

    Ответить
    • Владимир Савельев 2015-02-03 в 21:05 

      Конечно может — но желательно его иметь :roll:

      Ответить
    • Саня Сабегатулин 2015-06-30 в 04:50 

      Конечно может, вы тогда в роботсе не прописывайте sitemap только.

      Ответить
  7. руслан 2015-03-23 в 20:12 

    здравствуйте я не моту войти в админ панель вортпрес выходит вот такая надпись что делать ?
    Fatal error: Cannot redeclare _verifyactivate_widgets() (previously declared in /home/u552813338/public_html/wp-content/themes/interface/functions.php:169) in /home/u552813338/public_html/wp-content/themes/interface/inc/functions/functions.php on line 354

    Ответить
    • Владимир Савельев 2015-03-23 в 20:18 

      Всякое может быть! Возможно не правильно адрес ввели админ.панели?

      Ответить
  8. руслан 2015-03-23 в 20:19 

    нет правильный
    :sad:

    Ответить
    • Владимир Савельев 2015-03-23 в 20:25 

      какая-то ошибка в functions.php — в последнее время изменяли его? Устранить возможно теперь лишь через FTPклиент, либо сделать бэкап… :roll:

      Ответить
  9. руслан 2015-03-23 в 20:30 

    нет не изменял установил бесплатную тему после этого так получилось :sad: как исправить помогите пожалуйста подскажите как ?

    Ответить
    • Владимир Савельев 2015-03-23 в 21:20 

      какой у Вас уровень знаний? Я так понимаю если бы были знания, не спрашивали бы :smile: Значит нанять спеца какого-нибудь! Можно и меня :razz:

      Тут нужно либо удалить эту глючную тему, поставить оригинальную, либо переустановить сам Вордпресс, либо поковыряться в функтион и найти ошибку! Вариантов масса…

      Ответить
  10. руслан 2015-03-23 в 21:30 

    спасибо большое за ответ ) а как вордпресс переустановить через фтп самого хостинга ?

    Ответить
  11. Владимир Савельев 2015-03-23 в 22:39 

    Статья Вам в помощь Руслан :roll:
    Залить движок в корневую директорию, настроить базы данных если были
    http://savme.ru/prostaya-ustanovka-wordpress-na-khosting-adminvps.html
    http://savme.ru/kak-sozdat-blog-ili-sajt-na-wordpress.html
    http://savme.ru/chto-takoe-khosting-vybiraem-khoroshij-khosting-nadezhnyj-i-nedorogoj.html

    Ответить
  12. Александр 2015-05-05 в 20:53 

    Нельзя было роботс в нормальном виде выложить, чтобы скопировать можно было?

    Ответить
    • Владимир Савельев 2015-05-06 в 12:38 

      Исправил :razz: Копируйте на здоровье

      Ответить
  13. Виталий Охрименко 2015-05-17 в 10:46 

    Вот сколько мануалов в свое время по роботсу прочитал, а так и не понял, правильный роботс у меня или нет….пока посетители с ПС идут буду считать что правильный

    Ответить
    • Владимир Савельев 2015-05-17 в 13:44 

      Виталий не совсем правильный у тебя Роботс :smile:

      Ответить
      • Виталий Охрименко 2015-05-18 в 09:44 

        ДА??? А подскажешь что там нужно исправить??

      • Владимир Савельев 2015-05-18 в 13:45 

        Домен должен быть один основной а у тебя их два. Карта сайта одна. Так же зайди в кабинет google — индекс — заблокированные ресурсы и глянь что там…я об этом в статье писал :roll:

      • Виталий Охрименко 2015-05-29 в 21:22 

        Спасибо Вов, вроде разобрался…сейчас кажись настроил, буду следить как поисковики поведут себя

      • Виталий Охрименко 2015-05-29 в 21:25 

        Огого сколько у меня этих заблокированных ресурсов оказалось…сейчас буду ковырять…и тут же два вопроса на старте:

        1. Если гугль говорит что нужно некоторые js из плагинов разблокировать делать это?

        2. Сейчас только настроил хост один и одну карту сайта, роботс отправил гуглю и он его вроде уже принял. Вопрос: как скоро данные в «заблокированных ресурсах» переиндексируется??

      • Владимир Савельев 2015-05-29 в 21:47 

        Виталий ну если ПС говорит надо значит надо :roll: Во всяком случае я открыл доступ!

        На счет переиндексации должно пройти 3-4 дня и ошибки будут постепенно исчезать- у меня так — сначало было 88 потом все меньше и меньше — сейчас 8 скоро 0 будет!

        Удивительный факт кстати если запретить в robots.txt доступ к к определенному ресурсу но на страницах сайта будет ссылка на этот ресурс ПС все равно заберет его в индекс :smile: а если разрешить то не заберет :razz:

      • Виталий Охрименко 2015-05-30 в 15:36 

        Судя по всему алгоритмы поисковиков терпят кардинальных изменений. Или это мои мозги терпят кардинальные перемены и я узнаю то, о чем еще недавно ни сном ни духом :oops:

        Блин, не могу понять в чем беда, дней пять уже как трафик с Яши неизменно падает, и хоть ты тресни не могу понять в чем беда. Надеюсь что после исправлений роботса все изменится, хотя сильно себя надеждами не тешу

        Гугль при этом растет постепенно…хоть убей не понимаю

      • Владимир Савельев 2015-05-30 в 17:26 

        Анализ и еще раз Анализ сайта помогает выявлять причины :razz: Да в принципе одинаковых показателей быть и не должно это совершенно разные ПС ))

      • Саня Сабегатулин 2015-06-30 в 04:57 

        А яша чудит иногда, я и сам не раз замечал ни с того ни с сего трафик с него падает почти до 0, человек 7. Так висит чуть ли не неделю и опять погнал на свои позицию. Ну для меня это обычно человек 20-25.

    • Виталий Охрименко 2015-05-29 в 22:01 

      тараканов мне в плагины…кажись разобрался наконец-то, теперь нужно две недельки подождать и посмотреть на изменения. Вов, сегодня, навскидку с роботсом все в порядке? Посмотри если не трудно :x

      Ответить
      • Владимир Савельев 2015-05-29 в 22:12 

        вроде бы с виду правильно только поменяй местами host и sitemap. host должен быть после… :razz:

      • Виталий Охрименко 2015-05-30 в 15:39 

        Спасибо, сейчас сделаю

      • Саня Сабегатулин 2015-06-30 в 04:54 

        Опачки, а я даже и не знал, что последовательность важна. Сейчас и у себя проверю.

  14. Александр 2015-05-26 в 19:33 

    Что то не совсем понял… Нужно составить новый роботс и заменить им старый?Цитата: «Закончив правку, обновленную версию записи необходимо скопировать и добавить в файл robots.txt, расположенный в корневой директории. » Добавить или заменить? Да и вообще не совсем понятно из этой статьи, что нужно делать!!!??? Не могли бы Вы поподробней раскрыть тему?

    Ответить
    • Владимир Савельев 2015-05-27 в 11:31 

      Куда уж подробнее то Александр?! Если у Вас Вордпресс в статье есть стандартный роботс! Копируете его, открываете свой роботс все удаляете оттуда и вставляете записи!
      Если хотите более правильный роботс для вашего сайта, то смотрим google кабинет — заблокированные ресурсы! И вот все что там заблокировано, разрешаем в роботс командой Allow :roll:

      Ответить
      • Александр 2015-05-27 в 17:05 

        Роботс такого вида уже не пойдёт? Обязательно чтобы был как Вы описываете в этой статье? Или это не важно?

        User-agent: *
        Disallow: /cgi-bin
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        Disallow: /wp-content/plugins/
        Disallow: /wp-content/cache/
        Disallow: /wp-content/themes/
        Disallow: /wp-trackback
        Disallow: /wp-feed
        Disallow: /wp-comments
        Disallow: /category/
        Disallow: /author/
        Disallow: /page/
        Disallow: /tag/
        Disallow: /20*
        Disallow: */trackback
        Disallow: */comments
        Disallow: /*.php
        Sitemap: _http://site.ru/sitemap.xml

        User-agent: Yandex
        Disallow: /cgi-bin
        Disallow: /wp-admin/
        Disallow: /wp-includes/
        Disallow: /wp-content/plugins/
        Disallow: /wp-content/cache/
        Disallow: /wp-content/themes/
        Disallow: /wp-trackback
        Disallow: /wp-feed
        Disallow: /wp-comments
        Disallow: /category/
        Disallow: /author/
        Disallow: /page/
        Disallow: /tag/
        Disallow: /20*
        Disallow: */trackback
        Disallow: */comments
        Disallow: /*.php
        Host: site.ru
        Sitemap: _http://site.ru/sitemap.xml

      • Владимир Савельев 2015-05-27 в 21:59 

        Александр мое мнение что в вашем роботс много чего лишнего, например для чего Вы делаете сначала записи для всех ПС и тут же для Яндекса? Он что требует отдельных записей?

        На счет путей нужно смотреть! Зачем закрывать /category, page, comments и так далее не проще настроить каноникал?

        Host желательно в конце прописывать! Какой у Вас движок то?
        Я бы весь Ваш роботс переработал… этот не годиться ни куда!
        В кабинете google смотрели заблокированные ресурсы?

      • Саня Сабегатулин 2015-06-30 в 04:53 

        У меня тоже вначале было отдельно для яндекса, где то такой вариант в нете нашел, а потом удалил, так как посчитал, что это не нужно.

  15. Александр 2015-05-28 в 14:26 

    Здравствуйте, Владимир! Движок Вордпресс. Заблокированные ресурсы смотрел и переделал роботс, как Вы советуете… Этот файл мне сделал один вебмастер. Как настроить каноникал я не знаю, и вообще этому файлу я поначалу не уделял должного внимания. В интернете вообще какая то размытая и неопределённая информация о роботс — одни с пеной утверждают, что мой вариант правильный, Вы говорите обратное, а зачем он вообще нужен никто не объясняет вот поэтому многие новички и забрасывают свои блоги…

    Ответить
    • Владимир 2015-05-28 в 20:55 

      Александр могу утверждать то что для каждого сайта robots.txt уникален! Сейчас поисковые системы настолько продвинуты что в принципе можно обойтись и без него… Для чего вообще нужен этот документ? Чтобы запретить ПС доступ к определенным папкам, которые мы не хотим обнародовать…

      Правило следующее в этом документе — что не запрещено, то разрешено :oops:
      Опять же смотрим какие страницы попали у нас в индекс — допустим там находиться страница которая не должна быть проиндексирована или мы не хотим чтобы она была в индексе, тогда смело прописываем запрет в роботс на определенную папку….

      Каноникал настроить очень просто в таких плагинах как Platinum SEO Pack или ему подобных… Посмотрите видео от Яндекса там все понятно объясняют :razz:

      Ответить
  16. Александр 2015-05-29 в 14:19 

    Владимир, спасибо за разъяснения и терпение (некоторые начинают психовать и не отвечать). У меня плагин Yoast Seo, там никаких каноникалов я не нашёл (раза три пересмотрел). На этом у меня всё! Можете не отвечать, я получил исчерпывающие объяснения! Спасибо за ценную информацию насчёт заблокированных страниц, у меня они оказались заблокированы все.

    Ответить
    • Владимир Савельев 2015-05-29 в 14:37 

      Привет Александр у меня много терпения :razz: По моему твой плагин автоматом каноникал прописывает глянь в html исходном коде rel=»canonical» присутствует?
      Всегда пожалуйста заходи чаще ;)

      Ответить
  17. Александр 2015-05-29 в 14:56 

    Да присутствует! Пустые комменты (мои) удалите пожалуйста

    Ответить
  18. Виталий Охрименко 2015-05-31 в 22:21 

    Блин, очень я похоже вовремя сделал эти изменения. У меня оказывается в яндекс вебмастере была другая карта сайта по умолчанию, старая, которую я бахнул уже. А благодаря настройкам роботса заметил и этот лаг. Правда позиции в яндексе капец как попадали, но я надеюсь что после переиндексации все изменится

    Ответить
    • Игорь 2015-06-10 в 19:51 

      Виталий,вот на таких нюансах мы и обжигаемся.
      Обидно,досадно,но ладно.

      Ответить
    • Саня Сабегатулин 2015-06-30 в 04:45 

      Ну как, Виталий, уже все наладилось?

      Ответить
  19. 123 2015-07-17 в 01:57 

    А где находится корневая директория? Куда закачивать этот файл?

    Ответить
    • Владимир Савельев 2015-07-17 в 08:09 

      Корневая директория находится там, где лежат папки и файлы движка WordPress! Обычно это папка с названием (домен) вашего сайта!

      Ответить
  20. Саня Сабегатулин 2015-07-18 в 22:47 

    Вопрос такой, а Яше тоже стоит лезть в /wp-content и /wp-includes? Он вроде не жаловался. Вот я и прописал, отдельно для гугла и отдельно для Яндекса. Гуглу открыл достоп, а Яше нет.

    Ответить
    • Владимир Савельев 2015-07-18 в 23:02 

      Саня а что ты там такого скрываешь от Яши? $) Я думаю все равно в будущем нужно будет, так как Яшка идет по следам гуугла, правда отстает не по детски :razz:

      Ответить
      • Саня Сабегатулин 2015-07-18 в 23:12 

        В принципе, согласен. Нужно будет все-таки внести коррективы в свой роботс. К тому же посмотрел на Ваш. Вы открыли не полностью доступ в wp-includes, а только для двух папок. А я что-то по щедрому полностью доступ открыл. Сегодня подкорректирую маленько.

  21. Ольга 2015-10-01 в 21:21 

    Спасибо попробую заметить, а то я мало понимаю в этом что. А картинки будут индексировать и с гугла и яндекса?

    Ответить
    • Владимир Савельев 2015-10-01 в 21:36 

      Конечно же Ольга :razz:

      Ответить
      • Ольга 2015-10-01 в 21:42 

        Спасибо. Я сейчас проверяю ошибки, но почему-то все равно стоят. Они не сразу исчезают? Я проверяю в Инструмент проверки файла robots.txt в гугле…. ;-)

      • Владимир Савельев 2015-10-01 в 21:50 

        Ольга через определенное время… следите ежедневно за изменениями!

  22. Ольга 2015-10-01 в 21:56 

    Спасибо еще раз, очень помогли не знала что делать. Сегодня села уже поискать и нашла вас. Из всего что советовали многие, вы убедили меня больше. Желаю вашему сайту процветания )))

    Ответить
    • Владимир Савельев 2015-10-01 в 22:20 

      Всегда к Вашим услугам =) Спасибо!

      Ответить
  23. Игорь 2015-10-24 в 19:17 

    У меня почти такой же файл robots.txt

    Ответить
  24. Юлия 2015-10-28 в 00:14 

    Спасибо Владимир наконец та разобралась я с этим чудо тхт файлом) :oops:

    Ответить
  25. Игорь 2015-11-09 в 19:46 

    Володь,на скрине в статье видел еще таку. ссылку на сайт _noznet.net
    Это ваш игровой сайт?

    Ответить
    • Владимир Савельев 2015-11-10 в 15:25 

      Нет я тогда флаш игру в статью делал, вот ссылка и нарисовалась =)

      Ответить
      • Игорь 2015-11-10 в 16:40 

        Понятно.А я думал твой сайтик.Хотел поинтересоваться как прибыль.
        А то кто что говорит.

  26. Александр 2016-01-31 в 01:50 

    Сколько блогов, столько и мнений на счёт файла robots. Я вот недавно ещё один домен зарегистрировал для эксперимента. Думаю какой лучше robots сделать. У многих всё открыто для индексации, а у некоторых он вообще на полторы страницы.

    Ответить
    • Игорь 2016-01-31 в 10:15 

      Саня,ну если все пооткрывать,тогда смысл от этого роботса?
      Гугл и так чхал на роботс

      Ответить
      • Александр 2016-01-31 в 10:49 

        Всё открывают потому что поисковые системы любят когда сайты полностью открыты для них.

      • Игорь 2016-01-31 в 11:10 

        Да это то понятно.Но все же нужно что бы некоторые файлы были закрыты.

  27. Сергей 2016-06-23 в 13:48 

    Несколько раз за пару лет я переделывал файл robots.txt, пока не пришёл к тому варианту, который имею сейчас…

    Ответить

Добавить комментарий

Прочитать Соглашение и Правила блога

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?:

Приветствую Вас друзья!
Савельев Владимир АлександровичМеня зовут Владимир Савельев, я являюсь автором блога savme.ru! Моя миссия - научить Вас создавать сайты, блоги и зарабатывать на них также, как это делаю я! Уже через год ведения блога я вышел на пассивный доход в 30.000 руб в месяц и это не предел! Еще я частенько пишу о своей жизни и устраиваю конкурсы с крутыми призами! Подпишитесь на мои новости, чтобы не пропустить что-то важное!
Рекомендую покупать шаблоны тут
русские шаблоны для wordpress