Анализ robots.txt и sitemap.xml

На основе этой части отчета вы сможете найти ответ на несколько вопросов:

1. Не закрыты ли в robots.txt страницы, которые могли бы приносить поисковый трафик (то есть указанные в карте сайта или приносившие посетителей в прошлом)?

Важно: даже если запрет индексации сделан умышленно, убедитесь, что это действительно эффективное решение. Так, дубли страниц обычно правильнее склеивать 301 редиректом или с помощью rel=canonical. Страницы пагинации нет смысла блокировать в robots.txt, так как это мешает поисковым роботам полноценно индексировать сайт (по поводу настройки индекса страниц вида ?page=2 есть разные мнения, но запрет в robots.txt — точно не лучшее решение).

Найдите для каждой страницы с подозрением на необоснованный запрет в robots.txt подходящее решение.

2. Является ли карта сайта полной и корректной?

Sitemap.xml полезен не только в плане повышения полноты индекса. Его удобно использовать также для разнообразных задач по SEO-аналитике. Например, этот файл активно используется в анализе по разделам.

Исправьте найденные ошибки, добившись того, чтобы sitemap.xml полноценно отражал структуру сайта.

3. Нет ли на сайте страниц, которые возникли без вашего ведома?

Как правило, это мусорные страницы, не содержащие ценного контента. Они могут мешать индексации полезных документов и вообще служить негативным сигналом для поисковых систем. Откуда берется «мусор» и что с ним делать?

Причина Рекомендации
Ошибки движка сайта, генерация дублей обычных страниц Склейка с основной версией страницы через 301 редирект или canonical
Намеренные действия конкурентов по «раздуванию» сайта через добавление GET-параметров к url. Склейка с основной версией страницы через 301 редирект или canonical
Оставшиеся не удаленными разделы старого сайта. Если страницы еще актуальны — встроить в структуру сайта. Если нет — настроить склейку или удалить, отдав 404 (410) код ответа
Взлом и заливка дорвея. Удалить, отдав 404 (410) код ответа

Работа с проблемными страницами

Этот этап аналогичен проработке страниц, потерявших трафик. См. в рекомендации в справке а также более подробную статью по анализу и устранению причин проблем.

Устранение внутренней конкуренции

Если в отчете показываются ключевые слова, дающие трафик на разные url, то вам в первую очередь нужно убедиться, что это действительно проблема. Иногда такая ситуация совершенно в порядке вещей:

  1. Разные url могут ранжироваться по одному и тому же запросу в разных регионах.
  2. В отчет могут попасть мобильная и основная версии сайта. Если на них корректно настроены rel canonical и rel alternate, это вряд ли является проблемой.

Если же внутренняя конкуренция действительно есть, то ваша задача — сделать так, чтобы поисковой системе не составляло труда определить один правильный релевантный url, на котором размещен самый подходящий контент. Это можно сделать:

  • Правкой текстов и мета-тегов (усиливаем соответствие запросу на целевом документе, ослабляем на нецелевом)
  • Внутренними ссылками (ставим их с нужным анкором на нужный url, не ставим на конкурента)
  • Если страницы представляют собой дубли, то решение сугубо техническое — склейка с помощью редиректа или rel canonical.