Всем привет! Меня зовут Симагин Андрей, я являюсь автором программы SiteAnalyzer (десктопное ПО для технического и SEO-аудита сайтов), и сегодня мы рассмотрим 20 вариантов ускорения индексации сайта в Google — именно с этой проблемой я столкнулся примерно год назад при старте продвижения одного из своих проектов, в результате чего и родилась данная статья.
Многие SEO-специалисты в своей практике сталкивались с нежеланием поисковых систем индексировать те или иные страницы сайта, при этом в 90% случаев причины этих проблем бывают банальны: случайное закрытие страниц в robots.txt, запрет индексации через meta robots, некорректные канониклы и тому подобные варианты.
Однако, мало только лишь найти и устранить причину некорректной индексации. После ее устранения необходимо как можно скорее отправить на переиндексацию важный контент и удостовериться в том, что сайт и интересующие страницы стали индексироваться.
В этой статье мы поделимся всеми найденными вариантами индексации страниц в поисковой системе Google.
Способы ускорения индексации в Google
1. Google Search Console (GSC)
Самый распространенный способ индексации / переиндексации страниц в «ручном» режиме через панель вебмастера Google.
Страницы индексируются быстро (от нескольких секунд до появления в поиске), однако, работа происходит в постраничном режиме + необходимо время на сканирование страницы поисковым ботом, поэтому данный способ является эффективным, но не самым удобным, так как нельзя загрузить сразу список из группы URL и отправить на массовую индексацию.
P.S. Существуют дневные ограничения по числу URL для ручной индексации. Порядка 10-15 URL в день.
2. Sitemap.xml
Использование XML карты сайта является классическим методом ускорения индексации новых страниц. Реализуется это через указание гиперссылки на файл карты сайта Sitemap.xml в файле Robots.txt (само собой, перед этим необходимо создать сам файл Sitemap.xml).
Обычно этого бывает вполне достаточно для любого типа сайта.
Для создания карты сайта существует множество различных плагинов на популярных CMS, также ее можно создать при помощи одного из веб- или десктопных краулеров, например, через SiteAnalyzer.
3. Пингование Sitemap.xml
Пингование заставляет поискового робота сделать оперативный переобход вашего Sitemap.xml. Это своеобразный аналог добавления сайтмап в Google Search Console. Таким образом, мы отправляем Google дополнительный сигнал о необходимости переобхода карты сайта, что, тем самым, ускоряет вероятность индексации страниц (однако, не факт, что бот их сразу рванется обходить).
Ссылки для пингования сайтмап в Google и Bing:
4. Установка 301 редиректа со страниц трафикового сайта
Данное решение позволяет частично перенести статический вес и трафик с качественного сайта на сайт, для которого требуется большее внимание поисковых ботов, либо есть проблемы с его индексацией.
Я ставил редирект со страницы «Новости» сайта с хорошим трафиком на аналогичную страницу сайта, у которого были проблемы с индексацией. Редирект был «учтен» Google уже на второй день и страница сайта-донора исчезла из индекса гугла.
После того, как страница сайта-акцептора будет проиндексирована, редирект можно убирать.
5. Удаление сайта из Вебмастера Google и добавление сайта заново
Идея была в том, чтобы поисковик обратил «внимание» на сайт и, тем самым, снова прошелся по страницам.
Эксперимент не сработал, так как при повторном добавлении проекта в нем сразу отображался robots.txt и другие ранее примененные настройки – видимо при удалении сайт просто скрылся из списка, а потом при повторном «добавлении» его отобразили снова.
6. Полное закрытие сайта от индексации
Закрываем сайт от Google в robots.txt для полной деиндексации.
На момент тестирования в индексе болталась «первая» версия страницы с WWW и без сохраненной копии (молодой сайт). На обнаружение обновленной версии robots.txt Google понадобилось 1-2 часа. Через 2 дня единственная ранее проиндексированная страница исчезла из индекса. У сайта осталось 0 страниц в поиске гугла.
После полной деиндексации был открыт robots.txt для бота Google.
Однако, судя по логам, бот как заходил один раз в день, так один раз в день заходить и продолжил. По большому счету частота посещений сайта ботом Google не поменялась.
7. Добавление рекламы в Google AdSense
Обычно, если сайт не проходит модерацию в Google AdSense, то в личном кабинете появляется список возможных причин, почему не приняли сайт (проверка занимает до двух недель, у меня это заняло полторы). Данная информация может помочь с определением причин, что не так с сайтом.
Что в общем-то и произошло – сайт не приняли с пометкой «малополезный контент».
Не думаю, что низкий уровень индексации сайта был связан именно с этим. Но, по крайней мере, мы получили более-менее толковый ответ, который может пригодиться в другой раз (например, для определения санкций, наложенных на сайт).
8. Переобход через Google Translate
Данный метод основан на предположении о том, что «прогоняя» страницы через сервисы Google, мы обращаем на них дополнительное внимание поисковых ботов.
Вставляем URL сайта в Google переводчик, переходим по ссылке с переводом страницы, скрещиваем пальцы и надеемся на чудо.
В моем случае чуда не произошло.
9. «Льем» трафик из соцсетей и Телеграм
Для ускорения индексации сайта можно делиться публикациями в социальных сетях (Twitter, Facebook, Linkedin и т.п.), либо путем размещения постов в Telegram (по сути, это тоже самое, что и привлечение трафика с соцсетей, однако происходит путем размещения ссылок на сайт из рекламных постов на тематических каналах).
На текущий момент ссылки с соцсетей не индексируются поисковыми системами и не учитываются в ранжировании, поэтому данный вариант ускорения индексации сайта скорее всего будет не эффективен, однако, это может привлечь на сайт «живой» трафик, за счет которого поисковые боты станут заходить на него чаще и индексировать больше контента.
10. Трафик из контекста
Создаем рекламные кампании в Google AdWords и «льем» трафик на посадочные страницы для более быстрой их индексации, чтобы поисковые боты чаще посещали страницы сайта, увеличивая, тем самым, вероятность их индексации.
11. Проверка оптимизации для мобильных в Google Search Console
Используем страницу тестирования мобильной версии сайта для указания боту о новых страницах: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw
Опять же, гипотеза о том, что посылая Google дополнительный сигнал для переобхода страниц сайта через инструмент тестирования мобильной версии, он обратит на сайт более пристальное внимание. Однако не уверен, что это дает хоть сколько-то ощутимый результат.
12. Трафик из Pinterest
Pinterest является популярной контентной площадкой на западе, что делает его привлекательным не только для посетителей, но и для ботов поисковых систем. На нем постоянно «обитают» поисковые боты, особенно бот Google, поэтому путем несложного создания пинов, можно направить бота Google на интересующие страницы сайта.
В моем случае это не дало результатов.
13. Прогон через массовые индексаторы, основанные на вкладках браузера Google Chrome
На сколько я знаю, если эта тема когда-то и работала (сервис IndexGator и его аналоги), то сейчас она абсолютно мертва.
Да и по логам сервера – после подобной индексации робот на сайт не заходил.
14. Создание Sitemap.txt
Файл Sitemap.txt является упрощенным вариантом карты сайта Sitemap.xml. По сути, это все тот же список URL сайта, но без указания дополнительных атрибутов (lastmod, priority, frequency).
- https://mysite.ru/
- https://mysite.ru/page-1/
- https://mysite.ru/page-2/
- https://mysite.ru/page-3/
- https://mysite.ru/page-4/
- https://mysite.ru/page-5/
Данный вариант менее распространен, чем обычный Sitemap.xml, но, тем не менее, при добавлении ссылки на него в robots.txt, боты начинают его сканировать не менее охотно, чем обычный сайтмэп.
15. Внутренняя перелинковка
Ускорение индексации за счет проставления ссылок на новые страницы сайта с «хабовых» страниц (страницы с большим трафиком / весом).
Обычно для этого пишется скрипт, который берет пачки непроиндексированных ссылок из заранее подготовленного списка и размещает их на особо посещаемых страницах. После индексации страниц размещается следующий блок ссылок, и так далее. Индексация проверяется через различные сервисы либо через API Google Webmaster Tools.
16. Наращивание внешней ссылочной массы
Google признает, что страницы заслуживают доверия, если на них ведут ссылки с авторитетных сайтов.
Наличие обратных ссылок говорит Google о том, что страницы являются важными и их следует проиндексировать.
Таким образом, наращивая качественную внешнюю ссылочную массу на продвигаемые страницы и на сайт в целом можно сигнализировать Google о том, что данному сайту необходимо больше уделять внимания и чаще краулить контент.
17. Креативный метод при помощи Flickr (от Виктора Карпенко)
Создаем аккаунт на фотохостинге Flickr, заливаем туда кучу фотографий (тысячи, а лучше десятки тысяч) – фото берем не важно откуда, можно даже использовать другие фотохостинги, Инстаграм и т.п.
Под каждым фото пишем, что при использовании фото нужно ставить обратную ссылку на продвигаемый вами сайт (не забываем упомянуть его URL).
В результате можно бесплатно получать трафик и десятки ссылок ежемесячно с хороших сайтов и СМИ.
Примечание. Пример больше относится к линкбилдингу, но также и позволяет направить трафик на определенные страницы вашего сайта и тем самым улучшить их индексацию.
18. Индексация при помощи Google Indexing API
Выжимка инструкции для PHP с серча от пользователя Махмуд Аббас:
- Регистрируем сервисный аккаунт в Гугл Клауд, получаем ключ доступа (файл json), даем права сервисного аккаунта на серчконсоль, включаем API в гуглклауде.
- Создаем скрипт на PHP, из которого будут добавляться УРЛы в индекс.
- Качаем с Гитхаба клиент для работы с апи: https://github.com/googleapis/google-api-php-client
- Код для пакетного добавления запросов:
- В ответ $batch->execute() присылает массив по количеству ссылок в запросе (если в ответе есть \Google\Service\Exception, то код 429 – превышение лимита, 403 – проблемы с ключом доступа или включением api, 400 – кривые данные).
- Ссылка на описание ошибок: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
- Не забываем связать аккаунт API с консолью гугла + выставить себя владельцем (Owner), иначе скрипт не будет работать (в массиве будет приходить ошибка 404, что нет доступа для индексации сайта – Permission denied. Failed to verify the URL ownership).
Примечание: на написание скрипта у меня ушло ~40 минут, включая время на мелкие «затыки» и гугление ошибок.
Дополнительная информация:
- Более подробное описание по использованию Google Indexing API от SiteClinic – https://siteclinic.ru/blog/seo-instrumenty/indexing-api/
- Мини-исследование по ускорению индексации страниц через Google Indexing API от Айрата.
19. Блокировка доступа Гуглботу (кейс Владимира Вершинина)
Заметил, что плохо влетают на одном из проектов документы в индекс Гугла. Крутили, вертели – без толку.
По косвенным признакам возникла гипотеза, что боты не могут получить что-то из ресурсов, так как отсекаются на уровне сервиса по защите от DDoS.
Мы добавили перечень /ipranges/ в вайтлист сервиса защиты от ддоса 26 числа, и уже 27-го получили +50к документов в индексе, а на текущий момент за 15 дней уже +300к документов в индексе.
Большая часть «влетевших» документов лежала в GSC как «Просканировано, но пока не проиндексировано».
Ссылка на диапазон IP-адресов гуглоботов: https://developers.google.com/search/apis/ipranges/googlebot.json
20. Написать Джону Мюллеру
Написать в Твиттер Джону Мюллеру, описать свою проблему, скрестить пальцы и ждать ответа.
В моем случае это не сработало, мне никто не ответил, новых страниц в индексе не появилось. Странно, конечно, ну и ладно.
Но, кто знает, возможно вам повезет )
Похоже, больше не осталось известных вариантов ускорения индексации как новых, так и старых страниц. Однако, если вдруг я что-то упустил, прошу поделиться собственными кейсами и примерами в комментариях – с удовольствием дополню ими статью.
P.S. Для полного охвата темы стоит упомянуть относительно новую возможность массовой индексации страниц через IndexNow (открытое API с возможностью добавления в индекс поисковых систем до 10 000 страниц в день). В настоящее время поддерживаются поисковые системы Яндекс и Bing. Возможно, что присоединение поисковой системы Google к данной технологии не за горами, хотя, если уже сейчас у технологии возникла небольшая армия критиков, кто знает, получит ли она развитие в будущем...
Это всё, к сожалению или счастью, ретроспектива. Гугл интенсивно избавляется от шлака в своих базах, и даже если что-то внесет в результате использования какой-то уязвимости - то с большой степенью вероятности чуть позже и выкинет, если не увидит реальной ценности и значимости.
Хороший контент + хорошие ссылки + грамотная техничка + Indexing API в качестве кнута - вот и весь реальный арсенал.
Виктор, в целом согласен.
Я считаю что ручной индексации / сайтмап / перелинковки вполне достаточно для качественного сайта.
Также добавлю, что если все эти эти методы (или даже часть из них) не помогают в ускорении индексации сайта, то не факт что нужно тратить время на поиск дополнительных вариантов ускорения - скорее всего что-то не так именно с самим сайтом и лучше разобраться почему Гугл (или Яндекс) не хочет его индексировать. Обычно это неуникальный малополезный контент, например. Такие как не индексируй - не зайдут, либо нужно большое время "отстояться".
Надеюсь закрывали от индексации не боевые проекты)
Как потом с возвратом в индекс? Все вернулось?
Ну а как же) В последнее время закрываю сайты через .htpassword, ибо после роботс или noindex сайт не быстро возвращается в индекс
во, во, я про это и спрашивал
Ссылки не плохо отрабатывают, если сайт норм оптимизирован
Гугл интенсивно творит дичь. Просто вы, видимо, не столкнулись с его октябрьско-ноябрьским обновлением.
Апы - всегда дичь. Хорошо, хоть рунет задевает по минималке.
Только от незаслуженного МПК-фильтра на Яндехе избавились (точнее, сам отвалился), теперь вот ГугОл издевается. Второй месяц пошел, как трафик в 2 раза снизился. Не знаем, что делать. Симптомы, кстати, как и у Яндеха были - страницы в индекс попадают спустя 9 часов, позиции улетели и висят намертво на 2,3,4...6 страницах. Ручные переобходы через Сеч Консоль не помогают. Сидим ждем, когда отпустит.
Ботом индексирую мои сайты, залетает все в течение суток двое, сам индекс сейчас это не проблема, благо выбор сервисов достойный, трафик это важнее, индекс не равно трафик, поэтому пол белы загнать в индекс, надо получить позиции в выдаче, а это тема более сложная. Бот которым загоняю @speedyindexbot
Да, ботов сейчас полно, не то ,то раньше ) статья скорее для тех, кому классические методы и боты не помогли
наверное напишу статью на тему сервисов и ботов по ускорению индексации. я пользовался уже несколькими, результаты неоднозначные. абсолютно согласен с комментаторами, которые говорят о ценности контента и по сути о том, что "как вошло, так и выйдет"))
speedyindexbot - работает нормально и 2index.ninja тоже, а вот onehourindexing вообще какая-то кака-бяка ((
Коллега, спасибо за статью, вопрос каким именно методом пользуется сам автор статьи?
Помимо переписок с Джоном Миллером :)
Есть собственный скрипт индексации через апи для больших объемов, а для единичных урлов обычно ручками добавляю через GSC) + sitemap.xml конечно же
Спасибо автору, очень хорошо все расписал. Правда почти все это перепробовали. Не помогает))) Октябрьско-ноябрьский горе-апдейт не лечится.
Значит проблемы с сайтом и его контентом. Иных вариантов нет
Вот здесь все сказано https://searchengines.guru/ru/forum/1074672/page32.
Очень хорошая работа! И полезная. Даже я со своим опытом про некоторые моменты не знал . Спасибо!
Благодарю! Что-то возможно уже устарело, и не работает так, как раньше. Но на всякий случай постарался собрать все что знал и нашел )
Спасибо за информацию - в целом все знакомо, но несколько пунктов "взяла себе на вооружение" )