Файл robots.txt для WordPress

Примечание: Этот текст может содержать некоторые партнерские ссылки, а это значит, что я зарабатываю небольшую комиссию без каких-либо дополнительных затрат с вашей стороны, если вы воспользуетесь этими ссылками. Спасибо за понимание и поддержку.

Вы создаёте сайт, блог. Для чего? Просто так?! Появилось свободное время и как то надо не отстать от жизни? У всех есть, а у Вас ещё нет своего сайта на домене второго уровня?! Так?

Или быть может Вы хотели бы получать какой то доход от своего сайта? Это тоже сейчас очень модное и интересное занятие. А главное полезное. Какой бы вариант Вы не выбрали, в любом случаи для того чтобы сайт стал популярен (а с популярностью придёт и доход) его надо как-то продвигать в поисковых системах. Основные поисковые системы для России это yandex и google…

Хотел написать про файл robots.txt для WordPress, а по ходу возникает столько отступлений, что если на всё отвлекаться, то до файла robots.txt для WordPress можно и не добраться. А поэтому перейдём сразу к телу:

Движок у Вашего сайта будет WordPress (вроде как наиболее популярный и раскрученный блоговский движок для сайта). Чтобы сразу не допускать обидных ошибок и постараться максимально уменьшить утечку PR и ТиЦ с Вашего сайта, надо сразу максимально по возможности оградить свой сайт от дублированных страниц. Это архиважно. Конечно это сделать будет никогда не поздно, но чем раньше тем лучше.

Каким должен быть файл robots.txt для WordPress? Самый просто способ посмотреть, как сделано у других. Да, да тут тот самый случай когда Ваш плагиат будет оправдан и полезен как никогда. Как технически это посмотреть? Очень просто. Находите более менее авторитетный сайт, статьи на котором Вам пришлись по вкусу, и добавляете к адресу сайта, через слеш robots.txt

Например: https://bestplugins.ru/robots.txt

Смотрите, изучаете, сравниваете. Если у Вас более менее стандартная установка блога была, то Ваш файл robots.txt для WordPress будет выглядеть, как я привожу далее:

User-agent: Yandex
Disallow: /wp-admin*
Disallow: /archive/
Disallow: */trackback/
Disallow: */comments/
Disallow: */comment-page-*
Disallow: */page/
Disallow: /tag/
Disallow: */feed/
Disallow: /wp-includes*
Disallow: /category/
Disallow: /comments/page
Disallow: /*?s=
Disallow: /*&s=
Disallow: /trackback
Disallow: /*.html/feed
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/languages/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /*?*
Disallow: /*?
Disallow: /xmlrpc.php
Host: bestplugins.ru

User-agent: *
Disallow: /wp-admin*
Disallow: /wp-includes*
Disallow: /tag/
Disallow: /category/
Disallow: */comment-page-*
Disallow: */page/
Disallow: /tag/
Disallow: */feed/
Disallow: /wp-includes*
Disallow: /comments/page
Disallow: /*?s=
Disallow: /*&s=
Disallow: /trackback
Disallow: /*.html/feed
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/languages/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /*?*
Disallow: /*?

Sitemap: https://bestplugins.ru/sitemap.xml

В этом файле (robots.txt для WordPress) важные все звёздочки и прочие знаки. Будьте внимательны.

Мой блог находят по следующим фразам

Важно! Эта запись может содержать ссылки на плагины, которые к моменту вашего чтения и скачивания могут работать не корректно. Будьте внимательны.

6 Comments

  • И ещё вопрос…
    Плагин Yoast SEO делает несколько Sitemaps. Главная карта https://bestplugins.ru / sitemap_index.xml в ней список из ещё нескольких карт:
    Sitemap: bestplugins.ru / post-sitemap.xml
    Sitemap: bestplugins.ru / page-sitemap.xml
    и так далее, всего у меня пока что 9 карт.
    Нужно все прописывать в robots.txt или хватит одного Sitemap: https://bestplugins.ru / sitemap_index.xml ?
    Я прописал и главную и остальные карты. Но думаю главной хватит. Уточнить решил)))

    Ответить
  • · Edit

    На некоторое время, начав использовать плагин Yoast SEO, я перестал на некоторых сайтах делать и sitemap.xml и robots.txt
    Про robots.txt это конечно я по запарке забывал. А вот нужно ли делать карту сайта при использовании плагина Yoast SEO?
    Ведь он не делает в корневом каталоге файла sitemap.xml, а в robots.txt путь к файлу прописывается…

    Ответить
    • Автор · Edit

      Yoast делает карту сайта в XML формате, но не надо забывать ее создать и настроить в этом плагине.
      Отсутствие sitemap.xml и robots.txt очень критично для любого сайта, это 2 технических параметра обязательны,
      если хотите видеть свой сайт в ТОП выдачи любой ПС.

      Ответить
  • Автор · Edit

    при такой конфигурации файла robots.txt не попадут в индексацию дубли оригинальных статей, а именно теги,категории,архивы и прочее…

    Ответить
  • · Edit

    скажи: вот если я такой себе установлю файл robots.txt, то какие страницы попадут в индексацию поисковыми системами?!

    Ответить

Добавить комментарий

Ваш email нигде не будет показан. Обязательные поля помечены *