Недавно один из наших пользователей спросил нас, как они могут запретить поисковым системам сканировать и индексировать их сайт WordPress? Существует множество сценариев, когда вы хотели бы запретить поисковым системам сканировать ваш сайт или размещать его в результатах поиска. В этой статье мы покажем вам, как остановить поисковые системы от обхода сайта WordPress.
Почему и кто хотел бы Остановить поисковые системы
Для большинства веб-сайтов поисковые системы являются крупнейшим источником трафика. Вы можете спросить, зачем кому-то понадобилось блокировать поисковые системы?
Когда вы начинаете, многие люди не знают, как создать локальную среду разработки или промежуточный сайт. Если вы разрабатываете свой веб-сайт на общедоступном доменном имени, то, скорее всего, вы не хотите, чтобы Google индексировал вашу страницу в режиме разработки или обслуживания.
Есть также много людей, которые используют WordPress для создания частных блогов, и они не хотят, чтобы они индексировались в результатах поиска, потому что они частные.
Кроме того, некоторые люди используют WordPress для управления проектами или интрасети, и вы не хотели бы, чтобы ваши внутренние документы были общедоступны.
Во всех вышеперечисленных ситуациях вы, вероятно, не хотите, чтобы поисковые системы индексировали ваш сайт.
Распространенное заблуждение заключается в том, что если у меня нет ссылок, указывающих на мой домен, то поисковые системы, вероятно, никогда не найдут мой сайт. Это не совсем верно.
Существует множество способов, с помощью которых поисковые системы могут найти веб-сайт, связанный в другом месте. Например:
- Ваше доменное имя могло ранее принадлежать кому-то другому, и у них все еще есть некоторые ссылки, указывающие на ваш сайт сейчас.
- Результаты некоторых сайтов поиска по домену могут быть проиндексированы с вашей ссылкой на них.
- Есть буквально тысячи страниц со списком доменных имен, на одной из которых может появиться ваш сайт.
В Интернете происходит много вещей, и большинство из них не находятся под вашим контролем. Однако ваш веб-сайт все еще находится под вашим контролем, и вы можете дать указание поисковым системам не индексировать ваш веб-сайт и не следить за ним.
Блокировка поисковых систем от обхода и индексации Вашего сайта WordPress
WordPress поставляется со встроенной функцией, которая позволяет вам указывать поисковым системам не индексировать ваш сайт. Все, что вам нужно сделать, это посетить раздел » Настройки "и установить флажок рядом с параметром "Видимость в поисковой системе".
Когда этот флажок установлен, WordPress добавляет эту строку в заголовок вашего сайта:
|
1 |
|
WordPress также изменяет настройки вашего сайта robots.txt файл и добавьте в него эти строки:
|
1 2 |
|
В этих строках роботы (веб-искатели) просят не индексировать ваши страницы. Тем не менее, это полностью зависит от поисковых систем, чтобы принять этот запрос или проигнорировать его. Несмотря на то, что большинство поисковых систем уважают это, некоторые страницы или случайные изображения с вашего сайта могут быть проиндексированы.
Как убедиться, что Ваш Сайт не отображается в результатах поиска?
Настройки видимости WordPress по умолчанию предписывают поисковым системам не индексировать ваш сайт. Однако поисковые системы все равно могут в конечном итоге выполнить обход и индексирование страницы, файла или изображения с вашего веб-сайта.
Единственный способ убедиться, что поисковые системы вообще не индексируют и не сканируют ваш сайт, - это защитить паролем весь ваш сайт WordPress на уровне сервера.
Это означает, что когда кто-либо пытается получить доступ к вашему веб-сайту, его просят указать имя пользователя и пароль еще до того, как он достигнет WordPress. Это относится и к поисковым системам. При сбое входа в систему им отображается ошибка 401, и боты отворачиваются. Вот как защитить паролем весь сайт WordPress.
Способ 1. Защита паролем всего сайта с помощью cPanel
Если ваш хостинг-провайдер WordPress предлагает доступ к панели управления для управления вашей учетной записью хостинга, вы можете защитить весь свой сайт с помощью панели управления. Все, что вам нужно сделать, это войти в панель управления cPanel, а затем нажать на значок "Защита каталогов паролем" в разделе "Безопасность".
Далее вам нужно будет выбрать папку, в которую вы установили WordPress. Обычно это папка public_html.
Если у вас установлено несколько сайтов WordPress в каталоге public_html, вам нужно нажать на значок папки для просмотра и выбрать папку для веб-сайта, который вы хотите защитить паролем.
На следующем экране вам нужно ввести имя защищенного каталога и нажать кнопку "Сохранить".
Ваша информация будет сохранена, и cPanel перезагрузит страницу. После этого вам необходимо добавить авторизованного пользователя, введя имя пользователя и пароль.
Вот и все, вы успешно добавили защиту паролем на свой сайт WordPress.
Теперь всякий раз, когда пользователь или поисковая система посещает ваш веб-сайт, им будет предложено ввести имя пользователя и пароль, которые вы создали ранее для просмотра сайта.
Способ 2: Защита WordPress паролем с помощью плагина
Если вы используете управляемое решение для хостинга WordPress, иногда у вас нет доступа к cPanel.
В этом случае у вас есть возможность использовать различные плагины WordPress для защиты вашего сайта паролем. Ниже приведены два наиболее популярных решения:
- SeedProd – это плагин № 1 в ближайшее время и в режиме обслуживания для WordPress, используемый на более чем 800 000 веб-сайтах. Он поставляется с полным контролем доступа и функциями разрешений, которые вы можете использовать, чтобы скрыть свой веб-сайт от всех, включая поисковые системы. У нас есть пошаговое руководство для SeedProd.
- Защищен паролем – это очень простой способ защитить свой сайт WordPress паролем с помощью одного пароля (создание пользователя не требуется). Смотрите наше пошаговое руководство о том, как защитить сайт WordPress паролем.
Мы надеемся, что эта статья помогла вам остановить поисковые системы от обхода или индексации вашего сайта WordPress.
