ТОП-10 в Google за 35 дней: опыт работы с PBN и подклейкой доменов

История о том, как мы начали искать заброшенные домены для клиента с относительно низким бюджетом. Нашли, купили, подклеили и вошли в ТОП-10 по ключевым запросам.

В рамках подготовки курса по PBN (стартует 9 марта) мы разработали алгоритм полуавтоматического поиска заброшенных доменов вне аукциона. Мы запустили эксперимент на личных сайтах компании и подумали, почему бы также не порадовать одного из тех наших клиентов, с которыми мы работаем более 10 лет?

Клиента нашли и предупредили, что это эксперимент. Поэтому он выдал нам совсем свежий сайт, который был заполнен контентом всего 2 месяца назад. Далее от клиента требовалось лишь выделять бюджет на проверку найденных дропов и их покупку. Всю автоматизацию по поиску мы взяли на себя.

• В начале 2022 года мы запускаем эксперимент с PBN.
• Обучаем команду работе с аукционами, проверке дропов, индексации, ссылочным стратегиям.
• Обучаем контент-менеджеров работе с AI-статьями, изображениями.
• Доказываем эффективность PBN одному из клиентов (об этом наш предыдущий кейс). Параллельно внедряем PBN для всех клиентов в компании. Кто-то соглашается, кто-то нет.
• Понимаем, что аукционы –- это небыстро, а в некоторых случаях и дорого. Не все клиенты способны себе позволить работу с PBN.
• С помощью Python и A-Parser разрабатываем полуавтоматический способ парсинга заброшенных доменов, которые не участвуют в аукционах.
• Проверяем и покупаем домены. Подклеиваем напрямую к главной странице.
• Постепенно выходим в ТОП-10 Google за 35 дней.

• Собираешь список сайтов для парсинга заброшенных доменов.
• Закидываешь их в лягушку (Screaming FROG).
• Дожидаешься результатов парсинга.
• Начинаешь ручную обработку: проверка WHOIS доменов, проверка вебархива, Яндекс ИКС, блокировки РКН, Ахрефс.
• Покупаешь домен.
• Подклеиваешь или работаешь как с отдельным PBN сайтом.

Из очевидных минусов такого подхода:

• Отсутствие автоматизации. Все этапы приходилось обрабатывать вручную.
• Множество таблиц. Безумное количество времени уходило на их сведение.
• Мощности компьютера. Лягушка или любой другой подобный краулер для парсинга требуют больших ресурсов ПК. Парсить большие сайты было невозможно.

Именно так мы работали с дропами и PBN с 2013 по 2022 год. Что же изменилось? В 2021 году мы начали активную работу с парсером A-Parser, ряд членов команды, в том числе и я, детально подошли к изучению Python, SQL. Благодаря этому у нас появилась возможность автоматизировать множество процессов в SEO, и в первую очередь в работе с PBN.

Важно понимать, что алгоритм, описанный в данной статье, принципиально отличается от парсинга освобождающихся доменов, которые представлены в нашей панели аукционных дропов.

Одно из основных отличий — принцип поиска доменов. Если в панель попадают аукционные домены, которые освободятся в ближайшее время, то в текущем кейсе мы описываем алгоритм поиска и последующую работу с заброшенными сайтами, которых сейчас нет в базе аукционов доменов, потому что эти сайты освобождались довольно давно.

Автоматизировать процесс я начал 23 октября 2022 года. И уже тогда отправил первый коммит в гит. Для примера скриншот ниже из лога GIT-сервера.

Далее рассмотрим алгоритм парсинга заброшенных сайтов. Без кода. Главное — понять принцип.

В данный момент наша база по русскоязычному рынку SEO состоит из 811 000 дропов и более 3 600 000 рабочих доменов. Для примера даем визуализацию ниже.

За день в базу данных залетает примерно по 20 000 новых доменов. Конечно, большая часть доменов была найдена и добавлена в базу за первый месяц парсинга. Будем считать, что разработали и тестируем Ahrefs на минималках.

Схема довольно простая, а автоматизация сложная. Но это однозначно стоило того результата, о котором мы поговорим в конце кейса.

• Мы указываем в Python список сайтов для вечного парсинга.
• Python обращается к файлу и передает запросы в А-Парсер по API.
• A-Parser собирает все внешние ссылки с указанного домена.
• Python сохраняет внешние ссылки и далее автоматически сводит данные в MySQL: проверяет доступность покупки, Яндекс ИКС, Ahrefs, блокировки в РКН.
• Когда закончили парсить сайт, берем следующие сайты из базы данных, которые нашли на этапе парсинга текущего сайта.

Для примера я отправил на парсинг внешних ссылок всего один сайт — сайт правительства Санкт-Петербурга. Он парсился на внешние ссылки/домены около 2-3 дней. За это время с него было собрано ~ 60 000 доменов. На рисунке 5 представлен скриншот из базы данных MySQL.

Как вы думаете, какое количество найденных доменов было доступно к регистрации и выкуплено после проверки? Напишите свои варианты в комментариях к кейсу.

Принципиальное отличие от предыдущего варианта в том, что здесь мы уже парсим выдачу Яндекс или Google по ключевым словам. Далее проверяем найденные домены в выдаче на возможность регистрации и дополнительно парсим найденные ссылки на внешние исходящие ссылки. Схематически это выглядит так, как представлено на рисунке 6.

Так как с SQL знакомы лишь некоторые члены нашей команды, да и у тех не было достаточного количества времени на обработку результатов парсинга, я переносил найденные домены на проверку в CRM. Задачи выглядели следующим образом (рисунки 7, 8, 9, 10 — скриншоты из нашей CRM на проверку доменов).

Как видно на рисунке 7, большую часть найденных доменов я прошу подклеить к дропам, с которыми мы работаем, а не к боевым и реальным сайтам. И это говорит о качестве найденных доменов: они не очень жирные и трастовые. Но это еще не повод расстраиваться, так как дальше я поставил еще 11 задач, в рамках которых были найдены домены для клиента, согласившегося на эксперимент.

Здесь может возникнуть вопрос: “что означает проверка дропов?”. Для ответа приведу скриншот с примером задачи из серии “разгребания дропов”.

Помощники отписывались в задаче по результатам проверки:

В итоге я потратил на задачу по разгребанию дропов 14 часов. В данный момент мы приостановили процесс разгребания, так как дорабатываем автоматизацию для нашего курса по PBN. Скриншот таймера с трудозатратами представлен на рисунке 11.

Остальные члены нашей команды тратят в среднем 11 минут на проверку домена для последующей его покупки и использования для сайтов клиентов или для PBN-сетей. Для примера привожу скриншот из Power BI.

В конечном итоге мы выкупили для клиента 14 доменов. Одиннадцать из них заклеили на главную страницу сайта, остальные три - на внутренние страницы.

Итоговые трудозатраты:

• 258 минут (или 7452 р.) на проверку всех доменов (24 шт.). Осталось 14 доменов. Это трудозатраты помощников.
• 853 минуты (или 33 937 р.) на задачи по разгребанию дропов. Это мои трудозатраты.
• 2646 р. — регистрация доменов.
• 10 000 р. — организация хостинга для редиректов.

Итого: 54 035 р. за два рабочих месяца.

Почему данные указаны в минутах? Обращаясь к нам, клиенты покупают рабочее время специалистов. Об этом мы частично писали в этой статье. Именно поэтому у нас есть строгая аналитика задач в CRM — с затраченным временем и прочими данными.

Результаты по позициям представлены на рисунке 14.

• Как видно на рисунке выше, на этапе первой подклейки (с 25 по 31 октября 2022 года) видимость сайта начала расти в ТОП-100 и ТОП-50 (серый и оранжевый график).
• К моменту второй подклейки (начало ноября) сайт уже начал ранжироваться в ТОП-20.
• Третья подклейка закончилась в середине декабря, к этому моменту в ТОП-10 начали заходить ключевые слова в Google.

Да, конечно, это не является примером идеальной видимости в Google. Но получить 20% видимости по ключевым запросам в ТОП-10 на 35-й день работы с новым доменом — это отличный результат. Всего отслеживается 4120 ключевых запросов.

Про Яндекс не рассказываем — там отработали совсем другие факторы. А что с трафиком? Статистика посещаемости сайта в Google представлена на рисунке 15.

Выводы можно сделать следующие:

• Подклейка работает. Важно искать качественные, тематические дропы, с тематическим анкорным ссылочным.
• На PBN не требуются колоссальные бюджеты, так как мы ежедневно парсим рунет и ищем заброшенные домены. Теперь мы внедряем подобный подход на проектах всех клиентов, не только с высоким бюджетом. Конечно, если вашей тематике требуется узконаправленный парсинг PBN, то это стоит определенных денег. В данном же случае мы циклично парсим все домены и внедряем для всех клиентов, без персонально-индивидуального заказа.
• В очередной раз развеяли миф о том, что SEO работает лишь спустя 6 месяцев. При наличии желания и возможностей можно достигнуть результата в Google всего за 35 дней.

А что с Яндекс? Там все хорошо. Все мы знаем, что в Яндекс ссылочный фактор находится далеко не на первом месте, поэтому здесь отработали другие факторы. Ниже представлен скриншот видимости в Яндекс.

Про слитые коды Яндекса рассказали уже везде, где было возможно. Что из слитых кодов оказалось полезно?

Идем в папку extsearch.tar > fresh > meta > rearrange_data > authority_boost

В одном из файлов обнаруживаем список СМИ, которым доверяет Яндекс как авторитетным источникам. Конечно, нам пришла идея: почему бы не пропарсить их? А с идеей пришла и ее реализация. На скриншоте ниже представлены домены, которые можно выкупить здесь и сейчас. Мы не проверили их качество и не гарантируем того, что они свободны на тот момент, когда вы будете читать этот кейс. Они 100% были свободны 9 февраля в 08:13 по Мск.

Автор: Дмитрий Федосеев (руководитель seo-отдела Ant-Team.ru).

P.S. Подписывайтесь на наш телеграм-канал, чтобы не пропустить наши новые экспертные статьи и самое интересное из мира SEO.