Как настроить Google Indexing API в 2024 году: полный гайд

Google Indexing API — это программный интерфейс Google. Он позволяет вебмастерам уведомлять поисковую систему о добавлении, удалении или изменении определенных элементов сайта, страниц или фрагментов контента. Добавление URL указанным образом должно стать сигналом, побуждающим «Гугл» просмотреть страницу и быстро проиндексировать новые элементы — и это может привести к увеличению посещаемости сайта и улучшению позиций в результатах поиска.

Зачем нужен Google Indexing API

Этот инструмент позволяет вебмастеру получить доступ к данным, хранящимся в индексах поисковой системы «Гугл» и условно манипулировать ими. Другими словами, вы помогаете ПС увидеть новый контент, указывая на страницы с обновленным контентом или вообще на абсолютно новые страницы.

Если вы хотите добиться индексации обновленного или нового контента в «Гугл», можно воспользоваться несколькими методами:

1. Публиковать новый / обновленный контент и просто ждать, пока он войдет в индекс.
2. Использовать Google Indexing API. Этот программный интерфейс позволяет отправлять контент для индексации напрямую в Google.

Вот некоторые сценарии, которые можно решить с помощью вышеуказанного инструмента:

• Отправка нескольких запросов в одном HTTP-запросе. Пакетные запросы позволяют понизить суммарное число HTTP-соединений и таким образом снизить нагрузку.
• Обновление URL. Вы можете показать краулеру, что контент на определенной странице был обновлен либо просто указать на новую страницу, которая появилась недавно.
• Получение даты уведомления для определенного URL. Увидеть статус запроса можно для любой страницы на сайте.
• Удаление страницы из индекса. Если URL больше не связан ни с одной страницей на сайте, можно сообщить краулерам, что в сканировании такого URL нет необходимости.

Читайте также:

Как проверить сайт бесплатно: 12 сервисов для онлайн-аудита

Что нужно, чтобы настроить Google Indexing API

Вам понадобится ключ API, который можно получить в Cloud Platform Console. Google Cloud Platform позволяет создавать, развертывать и масштабировать приложения, веб-сайты и сервисы на той же инфраструктуре, что и Google. После этого вы можете использовать его для подписания запросов к API индексирования.

Также обязательно:

• Активировать Google Indexing API.
• Сформировать новый сервисный аккаунт.
• Верифицировать права на домен в Google Search Console и сразу получить токен.

Далее мы в деталях расскажем, как это сделать.

Подробная инструкция по настройке Google Indexing API

Рассмотрим каждый этап настройки API подробно.

1. Предварительные условия

Это подготовительные шаги, которые предоставят вам все нужные доступы. Вам необходимо выполнить их, прежде чем двигаться дальше.

Создайте проект

Перейдите на Google Cloud Platform. В зависимости от того, работали ли вы с платформой ранее или нет, вам нужно нажать на кнопку выбора проекта:

Теперь нажимаем кнопку New Project и заполняем имя проекта, указываем расположение (внутри родительской организации или внутри папки):

Откроется новое окно, где нужно указать имя проекта и расположение.

ID — это глобально уникальный идентификатор вашего проекта. Вы не можете изменить его проекта после его создания.

Цель этого шага — сообщить «Гугл» о вашем клиенте.

Создание сервисного аккаунта

Снова в главном меню (левая сторона страницы, раздел IAM и администрирование) выберите «Сервисные аккаунты» (Service accounts).

Дальше нужно сделать следующее.

1. Нажмите на кнопку «+ Create Service Account» («Создать учетную запись службы»):
2. Введите имя и описание для вашей учетной записи. Вы можете выбрать идентификатор по умолчанию, присвоенный системой, или создать новый. Затем нажмите кнопку «CREATE AND CONTINUE» («Создать или продолжить»).
3. Мастер предложит предоставить этой учетной записи (сервисный аккаунт) доступ к проекту (необязательно).

Здесь вы можете выбрать следующее:

• Select a role. Вы можете выбрать роль по продукту или сервису (действия или доступ получен), либо по быстрому доступу (используется в настоящий момент или базовая)
• IAM condition (optional). Выберите предоставление доступа принципалам только при выполнении указанных условий. В качестве принципала может выступать учетная запись Google (для конечных пользователей), учетная запись службы (для приложений и вычислительных рабочих нагрузок), группа Google, учетная запись Google Workspace или домен Cloud Identity, которые могут получить доступ к ресурсу. У каждого принципала есть свой идентификатор, который обычно представляет собой адрес электронной почты.
Читайте также:
Сквозная аналитика для чайников. Как самостоятельно настроить сквозную аналитику в «Яндекс.Метрике»

Вы можете также пропустить этот шаг, нажав кнопку «CONTINUE» (Продолжить).

4. Далее мастер поможет настроить предоставление пользовательского доступа к этому сервисному аккаунту (необязательно). Вы можете предоставить доступ конкретным пользователям или группам, которым необходимо выполнять действия от имени сервисного аккаунта.

Здесь две строки: Service account users role и Service account admins role. В обоих случаях можно указать один или несколько параметров:

• Account email: в формате [email protected].
• Group: в формате [email protected].
• Service account: в формате [email protected].
• Workspace domain: в формате example.com.

При необходимости добавляем доступы для пользователей по нужным параметрам. Нажимаем кнопку «DONE».

5. Когда вы автоматически вернетесь на первую страницу раздела Service Accounts, нужно нажать на символ «⋮» и выбрать пункт Manage keys.
6. Добавьте новую пару ключей или загрузите сертификат открытого ключа из существующей пары ключей. Мы создаем пару с нуля, поэтому нажимаем «ADD KEY» и сразу выбираем «Create New Key».

Блокируйте создание ключей для сервисных аккаунтов с помощью политик организации. Подробнее о, их настройке написано здесь.

Ключи учетных записей могут представлять угрозу безопасности в случае компрометации. Рекомендуем избегать загрузки ключей сервисных аккаунтов и вместо этого использовать документ Workload Identity Federation.

В этом документе представлен обзор федерации идентификаторов для внешних рабочих нагрузок. С помощью федерации идентификаторов можно предоставлять локальным или мультиоблачным рабочим нагрузкам доступ к ресурсам Google Cloud без использования ключа учетной записи службы. Подробнее о лучшем способе аутентификации учетных записей можно узнать здесь.

7. На следующем экране нужно выбрать тип ключа. Доступно два варианта:

1. JSON. Рекомендуемый.
2. P12. Для обратной совместимости с кодом, использующим формат P12.

Нажимаем кнопку CREATE. Файл, содержащий закрытый ключ, будет автоматически скачан.

Настройка ключей завершена. Теперь нужно будет доработать скрипт.

Читайте также:

Что такое Google Drive: как пользоваться и зачем нужен Гугл Диск

2. Настраиваем скрипт

Это скрипт стороннего разработчика, который позволяет делать массовую отправку URL-адресов в Google Indexing API с помощью пакетного batch-запроса. Он поможет индексировать страницы вашего сайта в массовом порядке, без необходимости вручную запрашивать каждый URL для отправки в интерфейсе Search Console.

Предварительная настройка заключается в следующем:

1. Прежде всего вам необходимо настроить доступ к API индексирования в Google Cloud Platform — следуйте приведенным инструкциям.
2. Получив доступ к Indexing API, вы сможете загрузить JSON-файл пары публичного / закрытого ключа, который содержит все ваши учетные данные и должен быть сохранен под именем service_account.json.
3. Добавьте URL-адреса в файл urls.txt, которые должны быть проиндексированы.
4. Проверьте права доступа на домен в Search Console, чтобы отправить URL-адреса для индексации. На этом шаге нужно будет подтвердить права на домен в GSC, если они еще не были подтверждены. Чтобы подтвердить право собственности на домен, вам нужно добавить адрес электронной почты вашего сервисного аккаунта (см. service_account.json — client_email) и добавить его в качестве владельца («делегированного») в Search Console.
5. Перейдите в GWC (Центр веб-мастеров) или настройте токен подтверждения непосредственно в Google Search Console.
6. Нажмите на необходимый ресурс (подтвержденный).
7. Прокрутите страницу вниз и нажмите «Добавить владельца».
8. Добавьте адрес электронной почты вашего сервисного аккаунта в качестве владельца.

Теперь в деталях рассмотрим настройку скрипта.

Первым делом загрузите нужный нам скрипт с GitHub и сохраните его на жесткий диск. Не волнуйтесь: навыки работы с GitHub не нужны. Просто нажмите на зеленую кнопку «Code» и выберите пункт «Download ZIP»:

Открываем скачанную папку и находим среди всех файлов service_account.json:

Наша цель — поменять содержимое этого файла на то, которое находится в загруженном ключе. Другими словами, скачайте JSON-файл закрытого ключа с сайта Google Cloud и сохраните его содержимое в файл service_account.json.

Здесь нет ничего сложного: читаем первую строчку и поставляем одноименное значение из JSON-ключа — project_id, private_key_id, client_email, client_id и так далее.

Читайте также:

Как работать с «Вебвизором» Яндекс.Метрики: инструкция для новичков

3. Связываем скрипт с GSC

Скрипт не будет функционировать, как надо, пока мы не добавим его в GSC. Вот что нужно сделать:

1. Открываем настройки Google Search Console. В подразделе «Пользователи и разрешения» нужно прописать client_email из файла, который мы скачали на компьютер.
2. Вы должны указать права как «Владелец». Напоминаем, что указать права пользователя можно в разделе «Управление владельцами ресурса». Чтобы попасть в него, нужно открыть настройки GSC…

…и войти в раздел «Пользователи и разрешения». Назначить владельца ресурса можно через настройки панели Google Search Console.

Теперь можно активировать Indexing API. Открываем сайт Google Cloud Platform, в списке находим сервисный аккаунт и нажимаем кнопку ENABLE:

Читайте также:

16 источников бесплатного трафика для вашего сайта

4. Инсталлируем нужные библиотеки

Теперь нужно скачать и настроить node.js. Вот что нужно сделать:

1. Предварительно загружаем платформу Node на сайте.
2. Находим нужный вариант и устанавливаем библиотеку.
3. По завершении установки открываем папку, находим PowerShell и запускаем его.
4. В терминале нужно указать три команды:
• npm install requests;
• npm audit fix;
• npm audit fix --force.
5. Если все эти команды были выполнены успешно, в этой же папке вы обнаружите папку node_modules:

Наличие этой библиотеки говорит, что библиотека была инсталлирована корректно, и теперь можно запускать скрипт.

5. Запускаем скрипт

1. Открываем папку, которую мы загружали с «ГитХаб».
2. Находим в ней файл с именем urls.txt.
3. Открываем его и прописываем URL’ы страниц, которые нуждаются в переобходе.
4. Зажимаем клавишу Shift и делаем клик правой кнопкой — чтобы запустить терминал и отправить информацию о страницах переобхода. Все!

Таким образом мы успешно запустили терминал и оказываемся в соответствующей папке.

Теперь расскажем про навигацию по папке.

Пропишите команду [ls], чтобы увидеть текущее положение. Перемещаться между папками не сложнее: допустим, необходимо открыть папку с названием Downloads. Для этого укажите команду таким образом:

Так мы можем попасть в любую нужную нам папку. После этого прописываем:

Это может быть не только Index.js, но и какой-то другой файл.

Если все было настроено корректно, будет отдан код сервера 200.

Если понадобится добавить новые адреса, не нужно будет настраивать все с самого начала: просто пропишите новые URL в файле urls.txt.

Частые вопросы по Google Indexing API и их решение

1. Нужно ли скачивать ключ? Да, если он управляется пользователем, но вы также можете выбрать ключи, управляемые Google Cloud.
2. Сколько времени занимает индексирование? Задержка обычно зависит от количества страниц: Для сайтов с количеством страниц менее 500: 3-4 недели. Для сайтов с количеством страниц от 500 до 25 000: 2-3 месяца. Для сайтов с более чем 25 000 страниц: от 4 до 12 месяцев.
3. Почему у меня код 403 вместо нужного 200 ОК? Вы не дали сервисному аккаунту права владельца (см. настройку Google Search Console).
4. Могу ли я одновременно использовать несколько вызовов API? Да, вы можете сгруппировать вызовы API в один HTTP-запрос. Самое большое преимущество этого метода заключается в уменьшении нагрузки. За дополнительной информацией вы можете обратиться к страницам библиотек Google API Client Libraries по конкретным языкам (Java, JavaScript, PHP).
5. Что означает ошибка с кодом 429 «Слишком много запросов» (too many requests)? Ошибка свидетельствует о превышении допустимой квоты при добавлении адресов.

Коротко о главном

• Google Indexing API позволяет отправлять обновленные страницы вашего сайта на переобход, чтобы краулер быстрее обратил на них внимание.
• Инструмент незаменим, если вы часто вносите изменения в контент существующих страниц сайта.
• Новые страницы, при отправке их URL через API, могут быстрее попасть в индекс.
• Если контент качественный, то все изменения, которые вы вносите, будут обновляться в индексе гораздо быстрее.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.