Удаляем страницу или раздел сайта с поиска Google
Я думаю, что многие знакомы с поисковой системой Google. Но вот мало кто знает алгоритм ее работы. Сам по себе Google, в отличие от Яндекса, с удовольствием индексирует сайты, причем даже те разделы, которые запрещены для индексации в файле robots.txt.
Поясню: если вы запретили в файле robots.txt индексирование той или иной страницы вашего сайта, то Гугл не будет этого делать согласно указанным правилам, но и ссылку на страницу в поисковой выдаче он тоже не удалит. То есть ее упоминание все равно будет присутствовать в поисковой системе.
Мой сайт тоже не стал исключением – я обнаружил несколько страниц, запрещенных к индексированию в файле robots.txt, но находящихся в поисковой выдаче. Как же быть в таком случае?
Удаление страниц и разделов с поиска Google
У Гугла существует сервис для вебмастеров, который называется «Search Console». Чтобы не бороздить просторы интернета, найти этот сервис вы сможете тут. Именно с помощью его вы можете временно удалить нужную вам страницу или раздел из результатов поиска Google.
1. Прежде чем начать удаление страниц, вам необходимо авторизоваться в сервисе.
2. Далее необходимо добавить ваш сайт в панель управления и подтвердить права на него. Для этого будет предложено несколько вариантов, самые удобные из них – файл и meta-тег.
3. После того как сайт успешно добавлен (если возникли трудности с добавлением – пишите в комментариях), мы наблюдаем такую картину:
Здесь вам необходимо кликнуть по домену, после чего откроется меню с дополнительными разделами.
4. В этом меню нас интересует раздел «Индекс Google» пункт «Удалить URL-адреса».
5. Здесь надо нажать «Временно скрыть» и ввести нужные URL для скрытия.
Но почему можно лишь временно скрыть или временно удалить? Все довольно просто: если при переобходе сайта удаленные страницы вновь доступны для индексации, то они попадут в поисковую выдачу.
Как же быть в таком случае?
Запрет Google на повторную индексацию удаленных страниц
Для решения этой проблемы существует несколько способов.
1. Meta-тег. Тут все просто – на нужном разделе или странице между тегами <head></head> прописываете meta-тег:
<meta name="robots" content="noindex, nofollow" />При его наличии страница больше не будет индексироваться. Но сам Google говорит, что это не самый лучший метод (что странно, поскольку у меня все сработало).
2. Страница должна возвращать код ошибки 404 (Не найдено) или 410 (Удалено). Тут не обязательно удалять вашу страницу, а просто прописать код в самом верху страницы на нужных вам разделах:
<?php
header('HTTP/1.0 404 Not Found');
?>или
<?php
header('HTTP/1.0 410 Gone);
?>соответственно.
3. Запретить доступ к контенту, например, установив пароль на страницу. Как это сделать, мы рассмотрим в отдельной статье.
Как проверить наличие страницы вашего сайта в Google?
Для этого в поиск Google вставьте:
site:your_site.ru/page.htmlгде your_site.ru/page.html – это страница или раздел вашего сайта.
Стоить заметить, что удаление страниц из поисковой выдачи – процесс не быстрый, так что наберитесь терпения.
