Массовая проверка индексации URL: как мы делаем это одновременно в Google и Яндексе

Зачем массово проверять индексацию URL

Самая частая ситуация в работе SEO-специалиста: запустили большой проект, опубликовали 500 страниц, прошёл месяц — а трафика всё нет. Открываете Search Console — «Проиндексировано 320, исключено 180». Какие именно URL вылетели и почему? Идти по списку и проверять каждый через site:URL — три часа кликов и копипасты.

Массовая проверка решает это за одну минуту: загружаете список URL, получаете таблицу со статусом каждого в Google и Яндексе одновременно. Те, что вылетели, видны сразу.

Что есть на рынке

Из подобных bulk-чекеров на западе:

• linkchecker.pro — $79/мес, проверяет только Google
• URL Status Checker (httpstatus.io) — бесплатный, но только HTTP-код, не индексацию
• Screaming Frog — может проверить индексацию через интеграцию с Search Console, но это десктоп-приложение
• Ahrefs — есть URL Inspection в Site Explorer, но проверяет только Google

В рунете массовых решений именно для проверки индексации до недавнего времени практически не было. Большинство SEO-чекеров заточены под одну страницу или один домен целиком.

Мы сделали массовую проверку индексации URL как самостоятельный сервис, и у нас она отличается от любого аналога в трёх вещах.

Что делает наш сервис уникальным

1. Google и Яндекс одновременно — за одну проверку

Большинство западных сервисов работают только с Google. Логично — там их рынок. Но в России 50-70% поискового трафика идёт через Яндекс, и индексы у двух поисковиков разные. Страница может быть в Google, но отсутствовать в Яндексе (и наоборот) — это нормальная ситуация после редизайна, миграции или санкций.

Наш сервис в одном запросе проверяет оба индекса:

• Google — через DataForSEO SERP API: запрос site:URL, если результатов > 0 — страница в индексе
• Яндекс — через Yandex Cloud Search API: тот же оператор site:URL

В таблице две колонки — Google и Яндекс — и для каждого URL ✓ или ✗.

Это не магия: каждая часть проверки делается через стандартные API. Но собрать их в один интерфейс с фильтрами, экспортами и сравнением — у нас единственный такой сервис в рунете на данный момент.

2. Расширенный режим: почему URL вылетел

Базовая проверка отвечает: «есть страница в индексе или нет». А что делать дальше? Если её нет — почему? Это может быть:

• HTTP 404 — страницы физически нет
• HTTP 5xx — ошибки сервера на момент обхода
• <meta name="robots" content="noindex"> — запрет индексации
• X-Robots-Tag: noindex в HTTP-заголовке — то же, но на серверном уровне
• <link rel="canonical"> указывает на другой URL — поисковик считает страницу дублем
• Редирект 301/302 — страница «уехала» на другой URL

В нашем расширенном режиме (2 поинта за URL вместо 1) мы делаем дополнительный HTTP-запрос к каждому URL и парсим эти сигналы. В таблице добавляются колонки:

• HTTP — фактический статус-код
• noindex — есть ли запрет на индексацию
• canonical — куда указывает (self = сам на себя; → URL = редиректит на другую страницу)

Это главное отличие от любых других чекеров. Они дают факт «не в индексе», но не дают причину. Мы даём оба — в одной таблице. Часовая ручная работа SEO-специалиста сжимается до клика.

3. Кеш и дедупликация — экономим ваши деньги

Если в загружаемом списке есть дубликаты (а они часто есть — пользователи копируют из Excel где идентичные URL встречаются), мы их находим и проверяем один раз. Списываем поинты только за уникальные URL.

Если вы повторно запустили проверку того же списка в течение 5 минут (например, ошиблись с режимом и переключили) — берём из кеша и не списываем ничего.

Ни один аналог такого не делает — они всегда тарифицируют по входным URL.

Реальные кейсы использования

Кейс 1: Аудит после миграции

Клиент-агентство мигрировал интернет-магазин на новый домен. Перенесено 4 000 URL через 301-редиректы. Через месяц владелец нервничает: трафик не вернулся.

Сценарий:

1. Выгружаем из старого sitemap.xml все URL — 4 000 шт.
2. Прогоняем через сервис расширенным режимом — за 10 минут получаем таблицу
3. Фильтруем «Нет в Google» — 380 URL. Фильтруем «нет в Яндексе» — 240 URL.
4. У 60% «потерянных» в HTTP-колонке стоит 200 — значит редирект отработал и страницы доступны, проблема не в технике
5. Смотрим canonical — у половины указывает на устаревший URL старого домена. Это и есть причина: канонические уехали на 404, поисковик исключает

Без массовой проверки нашёл бы это? Конечно, через site:-операторы по одному и Search Console. Но это 3-4 дня работы. У нас — 15 минут.

Кейс 2: Контентная команда vs Google

Контент-маркетолог пишет 30 статей в месяц. Через 60 дней главный редактор спрашивает «а что с трафиком?». Часть статей в топе, часть — даже не проиндексирована.

Сценарий:

1. Выгружаем все статьи блога за последние 60 дней — 60 URL
2. Прогоняем через сервис — за 30 секунд видим какие в индексе обоих, какие только в одном, какие ни в одном
3. Сравниваем с трафиком в Метрике — выясняем что большинство не в Яндексе при том что Google индексировал все
4. Смотрим расширенным режимом — у непроиндексированных в Яндексе всё в порядке технически
5. Делаем переобход в Яндекс.Вебмастере для конкретных URL → за неделю всё подтягивается

Без массового сервиса контент-маркетолог не понял бы в чём проблема месяцами.

Кейс 3: Линкбилдер проверяет «купленные» ссылки

Заказали 100 гостевых статей у биржи. Подрядчик отчитался «всё опубликовано, ссылки стоят».

Сценарий:

1. Все 100 URL донор-страниц загружаем в сервис
2. За 2 минуты — таблица
3. Фильтр «нет в Google» — 17 URL. Это страницы, которые не индексируются: ссылки с них не передают вес
4. Расширенный режим — у 12 из 17 стоит noindex. Биржа разместила на закрытых от индексации страницах
5. Возвращаем в биржу, требуем замены или возврата 12% бюджета

Это самый частый use-case в нашем сервисе по числу запусков. Линкбилдеры рунета регулярно проверяют купленный ссылочный массив.

Сколько стоит у нас

Тариф простой и предсказуемый:

• Базовый режим (Google + Яндекс): 1 поинт за URL. 200 URL = 200 поинтов ≈ 20 ₽
• Расширенный (+ HTTP/noindex/canonical): 2 поинта за URL. 200 URL = 400 поинтов ≈ 40 ₽

Это в 10-20 раз дешевле linkchecker.pro и подобных западных сервисов. И при этом у нас два индекса вместо одного, и расширенная диагностика «почему вылетело».

Технические детали для гиков

Если интересно как реализовано:

• Google: вызов /v3/serp/google/organic/live/advanced у DataForSEO с keyword: "site:URL". Location US — не RU, потому что DataForSEO блокирует Russia для site:-запросов. На точность не влияет — индекс Google глобальный.
• Яндекс: yandex-serp.ts обёртка над Yandex Cloud Search API. Запрос с query: "site:URL", проверка total_found > 0 || items.length > 0. Иногда Яндекс округляет total_found до сотен и говорит «0», но items есть — поэтому смотрим оба сигнала.
• HTTP-расширенная проверка: GET до 256 КБ HEAD страницы с таймаутом 12 сек. Парсим meta-robots, X-Robots-Tag, canonical. Сравнение canonical нормализуем (убираем протокол, www, концевой /).
• Concurrency: 6 параллельных запросов. На 200 URL — 30-60 секунд при идеальной сети.

Как начать пользоваться

1. Зарегистрируйтесь на SEOadmin — 100 поинтов сразу при создании аккаунта
2. Откройте /dashboard/services/urls_index_check
3. Вставьте URL в текстовое поле (по одному на строку, до 200 за раз)
4. Выберите режим — для большинства задач хватит базового. Расширенный — когда нужно понять почему URL вылетел
5. Нажмите проверить — за минуту получите таблицу с фильтрами и экспортом

Дальше — фильтруйте по «Нет в Google» / «Нет в Яндексе» / «Нет нигде» и экспортируйте в XLSX/CSV/PDF/DOCX для отчёта клиенту.

Что в планах

Сейчас в разработке:

• Сохранение проверок в проект — чтобы можно было раз в неделю переключать тот же список и сравнивать что изменилось
• Автоматический мониторинг — выбираете список и сервис чекает его раз в день, шлёт алерты если что-то вылетело
• Расширенный лимит — 1000 URL в одну проверку для Agency-тарифа

Если у вас есть фичи которые хотелось бы видеть — напишите нам в кабинете через «Обратную связь».

---

Попробовать сейчас: Массовая проверка индексации URL — бесплатно до 100 URL на старте.