Плагин iRobots.txt поможет вам быстро создать стандартный файл robots.txt для вашего сайта

Примечание: Этот текст может содержать некоторые партнерские ссылки, а это значит, что я зарабатываю небольшую комиссию без каких-либо дополнительных затрат с вашей стороны, если вы воспользуетесь этими ссылками. Спасибо за понимание и поддержку.

Зачем нужен файл robots.txt?

Во-первых, он поможет поисковым системам правильно и быстро индексировать ваши страницы сайта, запретив доступ к папкам и каталогам, которые индексировать нельзя, и которые, соответственно, вы должны закрыть для индексации в файле robots.txt.

Во-вторых, вы должны знать небольшие отличия в индексации разными поисковыми системами, и указать для двух как минимум, ПС — Яндекс и Google — правильные директивы  disallow  и  allow . И которые вы, соответственно, должны правильно написать в файле robots.txt.

В-третьих, если вы понимаете, что вам этот файл действительно необходим — научиться его писать несложно, но сплошь и рядом я встречаю абсолютно разные файлы robots.txt, и через один — с ошибками! Даже на ресурсах, авторы которых учат других СЕО-инструментам (!!!).

Пример в студию? Легко! На сайте русской Википедии есть страница — стандарт исключений для роботов — где всписке Ссылок внизу кто-то вписал себя как: создание и настройка robots.txt на примере WordPress

Не хочу давать ссылку, если интересно — сходите и посмотрите. Сайт, который открывается по этой ссылке, имеет файл robots.txt, составленный с ошибками) Пусть это ему считается…

С ошибками составлено примерно 30 процентов этих файлов. Почему? Не знаю. В обеих популярных поисковых системах есть большой справочный материал, в котором подробно дается описание (с примерами!!) — как правильно составить и написать файл robots.txt.

Ссылка на справочный материал в Google — http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

Ссылка на справочный материал в Яндекс — http://help.yandex.ru/webmaster/?id=996567

Можно еще почитать об этом файле здесь — http://robotstxt.org.ru/

Другие ресурсы не советую читать. И у меня могут быть ошибки))

Кстати, посмотреть файл robots.txt легко и быстро можно на любом сайте, достаточно ввести в адресной строке путь: имя сайта/robots.txt.

Советую прочитать еще:  Сайт вышел из-под фильтра Яндекса

Если затрудняетесь и боитесь написать файл robots.txt самостоятельно — доверьтесь плагину WordPress iRobots.txt SEO.

Он в считанные секунды поможет вам и создаст виртуальный вариант файла robots.txt, который вам останется:

а) Сохранить в текстовом файле с именем robots и расширением .txt

б) Положить в корневой каталог вашего сайта WordPress (там, где лежат папки wp-admin, wp-content, файл wp-config.php)

После активации плагина, который я перевел на русский, в разделе Параметры вы увидите страницу — iRobots.txt SEO. Там вы найдете несколько правил, каждое из которых имеет справочное описание на русском. Читайте, выбирайте, ставьте чек-бокс. После выбора всех параметров нажимаете кнопку — Обновить опции. Затем открываете секцию — Просмотреть файл Robots.txt и видите там виртуальный файл. Копируете весь текст и вставляете в текстовый файл, сохраняете его под именем robots.txt и загружаете через файловый менеджер сервера или FTP-клиента в основную директорию вашего сайта.

Совет: отметьте чек-боксом все параметры и создавайте файл — он будет абсолютно корректно написан.

Скачать плагин на русском:

[sdfile url=»https://bestplugins.ru/wp-content/files/irobotstxt-seo.zip»]

Этот же плагин на английском в Репозитории WordPress

Отзывы, вопросы и комментарии — смотрите ниже.

Важно! Эта запись может содержать ссылки на плагины, которые к моменту вашего чтения и скачивания могут работать не корректно. Будьте внимательны.

Добавить комментарий

Ваш email нигде не будет показан. Обязательные поля помечены *