Что такое индексация и как она работает
Индексация — процесс, в котором поисковик:
- Обходит страницу (краулинг) — робот заходит по URL, скачивает HTML.
- Рендерит — для современных SPA исполняет JavaScript, чтобы увидеть финальную разметку.
- Анализирует контент — заголовки, текст, ссылки, разметку.
- Сохраняет в индекс — гигантскую базу, по которой строится выдача.
Без индексации страница не появится в выдаче по любому запросу. Это базовое условие любого SEO.
Как поисковики находят новые страницы
Три основных канала:
- Через ссылки — робот обходит сайт, переходя по внутренним и внешним ссылкам.
- Через sitemap.xml — мы сами говорим: «вот список URL, обходи». Гайд: как сделать sitemap.
- Через ручную отправку URL — в Search Console / Вебмастере есть кнопка «Запросить индексирование» / «Переобход».
Google vs Яндекс: ключевые различия
| Параметр | Яндекс | |
|---|---|---|
| Скорость индексации | 1-3 дня для новой страницы при наличии sitemap | 2-14 дней, медленнее |
| Поведенческие факторы | Влияют, но не доминируют | Очень сильно влияют |
| Авторитетность домена | PageRank-производные сигналы | ИКС (Индекс качества сайта) |
| Регионы | Слабая привязка | Жёсткая привязка региона к сайту |
| Глубокий обход | Быстрый, любит большие сайты | Медленный, ценит чистый контент |
Главный вывод: если страница есть в Google, не факт, что она в Яндексе, и наоборот. Проверять надо в обоих.
Способы проверить индексацию
1. Оператор site:
Самый простой способ. В поисковике вбиваете:
site:example.com
Поисковик покажет, сколько примерно страниц сайта он знает. Точное число — в Search Console / Вебмастере.
Вариации:
site:example.com/blog/— только раздел блога;site:example.com "ключевая фраза"— есть ли страница с этой фразой в индексе.
2. Google Search Console
Индексирование → Страницы — сколько проиндексировано, сколько с ошибками, причины исключений. Здесь же можно отправить отдельный URL на переиндексацию (кнопка «Запросить индексирование»).
3. Яндекс.Вебмастер
Индексирование → Страницы в поиске — сколько в поиске, сколько в индексе, динамика. В разделе «Статистика обхода» — что робот находит каждый день.
4. Онлайн-инструменты
Массовая проверка индексации — загружаем список URL, получаем по каждому: в индексе Яндекса (да/нет), в индексе Google (да/нет). Помогает быстро увидеть «пропавшие» страницы.
Почему страницы не индексируются
Технические причины
robots.txtблокирует. Проверка — онлайн-валидатор robots.txt. ЧастоDisallow: /остаётся после переноса со staging.- Мета-тег
<meta name="robots" content="noindex">в HEAD страницы. Проверка — meta-check. - HTTP-заголовок
X-Robots-Tag: noindex— то же, но в HTTP-ответе. Видно через http-check. - Страница отдаёт 4xx/5xx — недоступна для робота. Проверка статус-кода.
- Бесконечный редирект 301→301→... — робот сдаётся, страница не попадает в индекс.
- Контент рендерится на клиенте (SPA без SSR) — Google умеет рендерить JS, но медленно, Яндекс плохо. Решение — SSR или prerender.
SEO-причины
- Тонкий контент — < 200 слов уникального текста на странице. Поисковик решает, что страница «бедная» и не индексирует.
- Дубликаты — много страниц с одинаковым текстом (категории, фильтры товаров). Часть выкидывается из индекса как «низкое качество».
- Canonical указывает на другую страницу. Если на странице A стоит
<link rel="canonical" href="/B">, то A в индекс не попадёт. - Нет внутренних ссылок на страницу. Сирота — её сложно найти даже краулером.
- Низкая авторитетность нового сайта. Молодой сайт без бэклинков индексируется медленно. Норма — 4-12 недель до полной индексации.
Санкции
- Ручные санкции Google (Manual Action) — показываются в Search Console.
- Алгоритмические понижения (Helpful Content, Spam Update) — не показываются, но трафик резко падает.
- АГС, Минусинск, Баден-Баден у Яндекса — встроенные фильтры. Письмо в техподдержку Платон Щукин — единственный способ узнать причину.
Как ускорить индексацию
Базовое (обязательно)
- Сайт в HTTPS с валидным SSL. Проверка SSL.
- Правильный
robots.txtбезDisallow: /. Валидация. - Полный sitemap.xml добавлен в Search Console и Вебмастер. Проверка sitemap.
- Скорость загрузки < 3 секунд на десктопе и < 5 на мобильном. Тест скорости.
- Уникальные title и description на каждой странице. Проверка мета-тегов.
Продвинутое
- Внутренняя перелинковка — каждая страница должна иметь хотя бы 1-2 ссылки с других страниц сайта.
- Hreflang для многоязычных сайтов — чтобы языковые версии не конкурировали друг с другом.
- Structured Data (Schema.org) — расширенные сниппеты ускоряют попадание в выдачу. Бесплатный генератор schema-разметки.
- Внешние ссылки (бэклинки) — даже одна-две с трастовых ресурсов резко ускоряют первую индексацию. Анализ бэклинков.
- Регулярное обновление — Google любит «живые» сайты. Один пост в неделю в блоге — хороший минимум.
Быстрые экстренные методы
- В Search Console — кнопка «Проверить URL → Запросить индексирование» для отдельной страницы. Работает в течение часа.
- В Яндекс.Вебмастере — «Переобход страниц». Лимит ~30 URL/сутки.
- IndexNow — протокол, поддерживаемый Яндексом и Bing. После публикации сайт сам отправляет URL в поисковики через API. На WordPress есть плагины.
Что делать дальше
- Проверьте сколько страниц в индексе:
site:ваш-домен.рув Google и Яндексе. - Сравните с реальным количеством публичных страниц. Расхождение > 30% — проблема.
- Проверьте список URL онлайн — увидите конкретные «пропавшие» страницы.
- Найдите причину для пропавших — проверьте robots.txt, мета-теги, HTTP-статус каждой.
- Зарегистрируйтесь в Search Console и Яндекс.Вебмастере — без них SEO в 2026 невозможно.
Индексация — не разовое событие, а постоянный процесс. Сайт должен поддерживать robots/sitemap/мета-теги в порядке всё время. Раз в месяц прогоняйте свой сайт через инструменты выше — это занимает 10 минут и экономит недели восстановления, если что-то сломается.
Попробовать SEOAdmin бесплатно
30 SEO-инструментов в одном кабинете. 100 поинтов бесплатно при регистрации, без карты.

