В некоторых случаях необходимо запретить индексацию определённого контента или файлов в Google.
Процесс индексации Google подразумевает добавление новых веб-страниц, включая различные формы контента (документы, изображения, видео) в его базу данных. Это означает, что для того чтобы сайт стал видимым в результатах поиска Google, его содержание должно быть заранее проиндексировано поисковиком.
Индексация осуществляется с помощью специальных программ — пауков, сканеров и ботов, которые непрерывно изучают веб-пространство, следуя указаниям владельцев сайтов о том, что можно индексировать, а что нет.
Зачем нужно индексировать сайты?
В современном мире с огромным количеством веб-сайтов порой сложно найти искомую информацию. Поисковая система Google облегчает этот процесс, предоставляя отсортированные и релевантные результаты. Индексация является ключевым элементом работы поисковых систем, ведь она помогает определить ключевые слова и фразы, которые наиболее точно описывают конкретные страницы, способствуя тем самым их ранжированию. Чтобы ваш сайт оказался на первой странице Google, его контент должен быть проиндексирован.
Правильно подобранные ключевые слова позволяют сайту занимать более высокие позиции в результатах поиска, что открывает новые возможности для привлечения посетителей, подписчиков и клиентов.
Также смотрите: Как интегрировать поддержку IndexNow на ваш сайт WordPress для ускорения индексации.
Зачем и как исключать контент из поиска Google?
На любом сайте могут быть страницы или файлы, которые не следует отображать в результатах поиска. Это может быть важно для обеспечения безопасности и защиты конфиденциальности. Если доступ к такому контенту не ограничен паролем, он может оказаться под угрозой раскрытия при полной индексации ботами вашего сайта.
В начале 2000-х годов хакеры использовали Google для поиска информации о кредитных картах на сайтах, что создало серьезные угрозы безопасности для интернет-магазинов.
Случаи такого рода всё еще происходят и могут привести к значительным потерям как для владельцев бизнеса, так и для клиентов. Поэтому для корпоративных сайта, интернет-магазинов и сообществ крайне важно заблокировать индексацию конфиденциального контента, прежде чем разрабатывать системы аутентификации пользователей.
Рассмотрим, как управлять контентом и файлам контентом в контексте их индексации поисковой системой Google.
1. Использование файла robots.txt для изображений
robots.txt — это файл, находящийся в корневой директории вашего сайта, который предоставляет поисковым ботам инструкции относительно того, что они могут, а что не могут индексировать. Он часто используется для управления трафиком, создавая удобные указания для веб-сканеров. С его помощью можно также заблокировать появление изображений в результатах поиска Google.
В WordPress файл robots.txt может выглядеть следующим образом:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
Первое указание предполагает, что ресурс открыт для всех ботов, но с обязательным соблюдением последующих инструкций. Оставшиеся строки запрещают индексацию директорий wp-admin и wp-includes.
Как исключить медиафайлы из индексации?
Файл robots.txt также может блокировать индексацию для определенных типов файлов (например, PDF, GIF, JPG, MP4). Для этого нужно добавить следующую информацию.
Для PDF:
User-agent: * Disallow: /pdfs/ Disallow: *.pdf$
Для JPG:
User-agent: Googlebot-Image Disallow: /images/cats.jpg
Для GIF:
User-agent: Googlebot-Image Disallow: /*.gif$
Приведенные выше команды препятствуют индексации контента другими ресурсами, такими как Google, но информация все равно будет доступна по конкретным URL. Для полной блокировки доступа требуется применение других методов (например, с помощью плагинов, таких как Restricted Site Access, Ultimate Member или Users Ultra Membership).
Поисковый агент Googlebot-Image можно использовать для ограниченной индексации конкретных изображений в поисковых системах. Если необходимо исключить их из всех видов поисковых запросов, рекомендуется обращаться к пользовательскому агенту Googlebot.
Возможно, также стоит воспользоваться другими Google-агентами для блокировки различных типов файлов. Например, Googlebot-Video применяется для видео контента в разделе Google Видео.
Важно помнить, что файл robots.txt не подходит для блокировки конфиденциальных данных, так как обладает определёнными ограничениями:
- он содержит инструкции, которые могут быть проигнорированы поисковыми системами;
- robots.txt не закрывает доступ к страницам и файлам вашего сайта;
- поисковые системы способны обнаруживать и индексировать заблокированные страницы, если те связываются с другими сайтами;
- robots.txt доступен для всех по адресу https://site.ru/robots.txt.
Чтобы запретить индексацию и лучше защитить свою личную информацию, используйте следующие методы.
Оптимальный файл robots.txt для вашего сайта WordPress можно создать с помощью плагина Clearfy Pro, который учитывает множество нюансов для достижения лучшего результата.
2. Использование метатега noindex для страниц
Метатег noindex — это надёжный способ предотвращения индексации конфиденциального контента на вашем сайте. В отличие от robots.txt, метатег размещается непосредственно в разделе веб-страницы и имеет следующий вид:
Любая страница с данным тегом в заголовке будет исключена из результатов поиска Google. Другие команды, такие как nofollow и notranslate, могут запретить сканирование ссылок и предложить перевод страницы соответственно.
Также можно ограничить доступ определённым поисковым системам:
Добавление метатега noindex возможно двумя способами. Первый — создание дочерней темы WordPress и редактирование файла functions.php, используя хук WordPress wp_head для вставки нужного метатега.
Если вы не знаете, как выполнить редактирование functions.php, вам поможет плагин ProFunctions.
Вот пример добавления noindex на страницу входа:
function site_login_page_noindex() { if ( is_page( 'login' ) ) { echo ''; } } add_action( 'wp_head', 'site_login_page_noindex' );
Второй способ — использование SEO-плагина для управления видимостью страницы. Например, в Yoast SEO можно перейти в раздел дополнительных настроек на странице или записи и выбрать Нет в настройке Разрешить поисковым системам показывать запись в результатах поиска?
3. Использование заголовка HTTP X-Robots-Tag для других файлов
X-Robots-Tag предоставляет дополнительную гибкость в блокировке индексации контента и файлов. В частности, в отличие от метатегов noindex, он может быть применён в заголовках HTTP для указанных URL. Например, X-Robots-Tag можно использовать для файлов изображений, видео и документов, где нельзя разместить метатеги.
К примеру, чтобы запретить индексацию JPEG-изображений всеми ботами, можно использовать такой заголовок:
HTTP/1.1 200 OK Content-type: image/jpeg Date: Sat, 30 Nov 2018 01:02:09 GMT (…) X-Robots-Tag: noindex, nofollow (…)
Также возможно указать определённых роботов:
HTTP/1.1 200 OK Date: Tue, 30 Nov 2018 01:02:09 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: bingbot: noindex X-Robots-Tag: otherbot: noindex, nofollow (…)
Следует учитывать, что поисковые роботы находятся в состоянии обнаруживать как метатеги, так и HTTP-заголовки X-Robots-Tag. Поэтому, если вы хотите, чтобы они соблюдали ваши инструкции относительно индексации конфиденциального контента и документов, необходимо не препятствовать обходу этих URL.
Если бот будет сканировать с использованием robots.txt, ваши инструкции по индексации не будут учтены, что приведет к игнорированию указанных условий. В итоге, если на ваш контент ссылаются другие сайты, он может быть проиндексирован Google и другими поисковыми системами.
4. Использование правил .htaccess на серверах Apache
Вы можете добавить заголовок HTTP X-Robots-Tag в файл .htaccess, что предотвратит индексацию страниц и цифрового контента вашего сайта, если он размещён на Apache-сервере. В отличие от метатегов noindex, правила в .htaccess могут применяться ко всему сайту или к определённым папкам, используя регулярные выражения для более гибкого управления различными типами файлов одновременно.
Чтобы ограничить доступ для роботов таких поисковых систем, как Googlebot, Bing и Baidu, вы можете применить следующие настройки:
RewriteEngine On RewriteCond % (googlebot bingbot Baiduspider) [NC] RewriteRule .* - [R=403,L]
Если вам необходимо запретить индексацию файлов форматов TXT, JPEG и PDF на вашем сайте, добавьте этот код в файл .htaccess:
Header set X-Robots-Tag "noindex, nofollow"
5. Реализация страницы, защищенной аутентификацией
Приведенные выше методы помогут вам скрыть личный контент и документы от индексации в поисковых системах. Однако пользователи, обладающие ссылкой, все равно могут получить доступ к материалам. Для улучшения безопасности рекомендуется организовать доступ с помощью аутентификации по имени пользователя и паролю, а также правильно настроить права доступа.
Например, страницы с конфиденциальной информацией о сотрудниках, которые не должны быть доступны анонимным пользователям, следует защищать аутентификацией. Даже если пользователи каким-то образом доберутся до этих страниц, для просмотра им потребуется ввести свои учетные данные.
В системе управления WordPress это можно сделать следующим образом:
- откройте страницу или запись для редактирования;
- в разделе Опубликовать найдите настройку Видимость и выберите Защищено паролем;
- введите пароль и нажмите ОК;
- обновите страницу или запись, нажав на кнопку Обновить.
Google отрицательно относится к неоригинальному контенту, поэтому обязательно проверяйте уникальность отдельных страниц вашего сайта с помощью онлайн-сервисов.