Внедряем IndexNow – что это такое и как добавить поддержку протокола на сайт

от

С 18 октября 2021 года Яндекс начал поддержку IndexNow — удобного протокола для ускоренной индексации. Рассмотрим, что это за протокол, как его реализовать на своих веб-ресурсах и для чего он нужен.

История появления Index Now

Разработчики поисковой системы Bing первыми внедрили протокол IndexNow при поддержке Microsoft.

Яндекс подключился к этой инициативе в 2021 году, подписав соглашение о спонсорстве, и теперь активно поддерживает этот алгоритм.

Где уже работает и где планируется поддержка

Поисковые системы

Можно ожидать, что после Bing и Яндекса другие поисковые системы, в частности Google, также начнут поддерживать эту технологию. Стоит отметить, что когда отправляют уведомление IndexNow в любую поисковую систему, оно доходит до всех участников соглашения.

Представители Google отметили, что их алгоритмы индексации уже достаточно эффективны, но пообещали провести тестирование протокола IndexNow для оценки его целесообразности. Пока что ясно, что Google не готов поддержать эту инициативу.

Однако DuckDuckGo и Baidu уже начали принимать уведомления по протоколу IndexNow.

Иностранные компании

Многие крупные платформы (например, eBay, LinkedIn, MSN, GitHub, Bizapedia и др.) внедрили API для отправки своих страниц через протокол IndexNow. Это дает им преимущество в индексации контента перед конкурентами за счет более быстрого процесса.

Системы управления контентом (CMS)

В настоящее время протокол IndexNow совместим с несколькими популярными движками:

  • MODX — не имеет плагинов для автоматической индексации, но возможно сделать это вручную всего за несколько минут.
  • Joomla — пока не существует специализированных модулей для этой задачи. Возможность отправки есть, но вебмастера еще не разработали расширение для интеграции.
  • Bitrix — также эффективно работает с этим протоколом, но индексация доступна только в ручном режиме.
  • DataLife Engine (DLE) — один из самых продвинутых в этом отношении, наряду с WordPress. Все настройки по IndexNow доступны в административной панели.
  • WordPress — популярный выбор и здесь не подкачал. Для него уже разработаны плагины с автоматической поддержкой IndexNow, так как Microsoft Bing предоставил открытый исходный код для интеграции.

Кроме того, два конструктора сайтов (Wix и Duda) также внедрили поддержку IndexNow в свои решения.

Сети доставки контента (CDN)

Cloudflare представляет собой глобальную сеть серверов, с помощью которой можно ускорить загрузку своего сайта и защититься от DDoS-атак.

Для успешной работы IndexNow проводились изменения в функционале Crawler Hints (в переводе «подсказка для краулеров»). Включить эту функцию можно в разделе «Cache» на панели управления Cloudflare.

Что такое IndexNow и зачем нужен

В современном интернете, насыщенном огромным объемом информации, вебмастерам становится все труднее привлечь поисковых роботов на свои ресурсы.

Время на поиск и индексацию новых URL-адресов или обновленных старых может занимать значительно больше времени, что приводит к потере потенциального трафика, потенциальных клиентов и снижения уровня продаж.

IndexNow представляет собой новое и простое решение для оперативной индексации контента на веб-сайтах. Данный протокол с открытым исходным кодом (по лицензии Attribution-ShareAlike Creative Commons) позволяет владельцам различных интернет-ресурсов мгновенно уведомлять поисковые системы о любых изменениях на своих URL, будь то добавление, обновление или удаление контента.

Проще говоря, это нечто вроде пинга, который немедленно сообщает поисковым системам о том, что определенный URL и его содержимое были изменены, добавлены или удалены.

По принципу работы IndexNow напоминает sitemap (xml-карту сайта): сервер передает лишь URL-адрес, а содержимое поисковый робот сканирует сам.

Скорость индексации

С помощью IndexNow нет необходимости ожидать повторных обходов сайта поисковыми роботами! После получения уведомления через IndexNow API, Яндекс и Bing мгновенно сканируют обновленную страницу и почти беспрепятственно вносят изменения в свои индексы и результаты поиска.

При этом уведомление об обновлении контента автоматически поступает всем поисковым системам, поддерживающим данную технологию.

Без использования IndexNow роботам придется ждать доступа на вашу страницу как минимум 2-3 дня, а иногда это может занять гораздо больше времени, так как они последовательно обходят все сайты, представленные в поисковой базе.

Тонкости работы алгоритма

Процесс работы IndexNow состоит из трех этапов:

  1. Сайт отправляет уведомление о появлении нового контента.
  2. Поисковый робот сканирует обновленный или добавленный URL.
  3. Страница мгновенно добавляется в индекс поисковой системы, и начинается ее ранжирование.

Вебмастерам остается лишь создать API-ключ для своего ресурса и настроить отправку уведомлений для IndexNow вручную либо с помощью плагина.

Инструкция по настройке IndexNow вручную

Для настройки вручную вам потребуется создать API-ключ, разместить его на сервере и отправить запросы в поисковую систему.

1. Создание API-ключа

Боты Яндекса и Бинга, работая с технологией IndexNow, различают сайты не по URL, а по индивидуальному ключу. При получении уведомления они сначала проверяют ключ, а уже затем смотрят на хост. Это и обеспечивает сортировку поддоменов.

Каждому сайту должен быть присвоен уникальный ключ. Если ключ совпадает с другим ресурсом, то вместо подтверждения получения уведомления вы получите предупреждение. Однако такие случаи весьма редки из-за большой длины ключа и его сложности.

Как сформировать такой ключ? Следует учитывать следующие требования:

  • Количество символов — от 8 до 128, без пробелов.
  • Разрешенные символы — только латинские буквы (в верхнем и нижнем регистре) и арабские цифры.
  • Кодировка ключа — исключительно UTF-8.

Также возможна генерация API-ключа на официальном сайте Bing:

генерация indexnow api

2. Помещение ключа в файл

После генерации вставьте полученный ключ в текстовый файл формата txt и проверьте его кодировку (должна быть UTF-8).

3. Загрузка файла на сервер

Разместите файл с API-ключом для IndexNow в корневом каталоге вашего сайта в формате txt с совпадающим названием. Это поможет поисковой системе подтвердить вашу собственность на отправленные URL-адреса.

Файл можно загрузить тремя способами: через панель управления (ПУ) вашего хостинга, по FTP или с помощью плагина.

Через панель управления (ПУ)

Приведу инструкцию на примере хостинга Beget.

  1. Войдите в аккаунт и нажмите на иконку «Файловый менеджер». файловый менеджер бегет
  2. Перейдите в корневую папку вашего сайта (обычно это /public_html) и нажмите «Загрузить файл». загрузка файла бегет
  3. Очистите кэш на сайте.

По FTP

Другой способ — создание FTP доступа:

  1. Нажмите на иконку «FTP» в админке своего хостинга. ftp бегет
  2. Придумайте логин и пароль, затем нажмите кнопку «Добавить». добавление ftp бегет
  3. Скачайте FTP-клиент, например, FileZilla — отличное бесплатное решение.
  4. После установки FTP-клиента введите «Имя пользователя» (оно должно совпадать с заданным логином), «Пароль» и «Хост» (адрес вашего сайта).

Обязательно проверьте кодировку после загрузки txt-файла с ключом на сервер, так как ваш хостинг может изменить ее. Если это произошло, измените ее обратно на UTF-8 вручную.

Через плагины

Если нет желания заходить в админ-панель хостинга:

  1. В админке WordPress установите плагин File Manager (Файловый Менеджер): file manager
  2. После установки и активации в админке появится отдельный пункт меню «Диспетчер файлов WP».
  3. В выпадающем меню выберите этот пункт, откроется корневая папка со списком всех файлов вашего сайта. загрузка файлов
  4. Нажмите на иконку «UploadFiles» (Загрузить файл) и загрузите ваш txt-файл с ключом. загрузка ключа indexNow в формате txt

Очистите кэш и проверьте ваш сайт на WordPress.

4. Отправка запросов поисковым системам вручную

Достаточно будет отправить запрос в Яндекс, так как Bing также получит это уведомление. Если в будущем другие поисковые системы начнут поддерживать протокол IndexNow, они смогут автоматически принимать подобные уведомления.

Отправка постранично

Чтобы отправить уведомление о конкретной странице сайта, используйте GET-запрос к серверу Яндекса:

GET https://yandex.com/indexnow
? адрес_страницы=
& код_верификации=
& [keyLocation=]

Значение параметра keyLocation не является обязательным. Используйте его, только если файл с ключом не расположен в корневой директории вашего сайта.

Массовая индексация

Если у вас имеется множество страниц (URL), которые необходимо отправить на немедленную индексацию, используйте метод POST:

POST /indexnow HTTP/1.1
Content-Type: application/json; charset=utf-8
Content-Length: 286
Host: yandex.com
«host»: «www.example.com»,
«key»: «EdD8dkmdNLlxREi2LkhJjYOH2kyQbJqM3cBKT5fX»,
«keyLocation»: «https://www.example.com/myIndexNowKey63638.html»,
«urlList»: [
«https://www.example.com/url1»,
«https://www.example.com/folder/url2»,
«https://www.example.com/url3»
]
>

Расшифровка параметров для этого запроса:

  • host — адрес сайта;
  • key — код подтверждения (ранее сгенерированный вами ключ API для IndexNow);
  • keyLocation — необходим для указания файла с ключом, если он находится не в корне сайта;
  • urllist — перечень URL, которые нужно проиндексировать.

Запрос методом POST для массовой индексации страниц формируется в формате JSON. Поэтому важно уделить внимание каждой строке при его создании. Проверьте все детали перед отправкой.

IndexNow на WordPress с помощью плагина

На сегодняшний день самым оптимальным вариантом для отправки URL через Index Now для сайтов на WordPress является плагин Clearfy PRO от WPShop.

Разработчики данного плагина стали первыми, кто внедрил автоматическую генерацию кода и включили необходимые настройки в обновленную версию плагина, в том числе историю обхода, доступную пользователю в административной панели WordPress.

clearfy indexnow

На новой вкладке присутствуют всего три поля:

    1. Переключатель IndexNow. Когда он активен, он отображается зеленым цветом.
    2. Поле для генерации ключа. При активации этой опции плагин автоматически создаёт ключ, который можно в любой момент заменить своим или пересоздать, удалив старый из этого поля.
    3. Таблица с историей отправки уведомлений для каждой страницы и кодами ответов (столбец status).

Работа плагина IndexNow от Clearfy Pro гораздо стабильнее, чем у плагина «IndexNow для WP» от другого разработчика.

Кроме того, при покупке плагина Clearfy Pro от WPShop вы получаете целый ряд функций, необходимых для эффективного функционирования любого современного сайта на WordPress, а также бесплатную техническую поддержку на срок одного года.

Воспользуйтесь промокодом: Скидка -10% на Clearfy Pro.

Просмотрите видео о том, как работает данная функция в Clearfy Pro от разработчика:

Оставьте комментарий