Анализ логов сервера
Поиск страниц, часто посещаемых роботом, документов с малым количеством контента, url, отдающих ошибки сервера.
Справка
Анонс с описанием функционала на блоге.
Инструмент перебирает access.log на предмет визитов поисковых роботов и строит отчеты по популярным страницам, страницам небольшого объема (подозрение на техническую ошибку), страницам, отдающим ошибки сервера.
Используйте только файлы в формате common - %h %l %u %t "%r" %>s %O "%{Referer}i" "%{User-Agent}i". Пример строки в правильном формате: 184.72.146.111 - - [19/Jun/2017:00:10:09 +0300] "GET /seo-zen/ HTTP/1.1" 200 1152 "https://www.google.com/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17".
Ограничение на объем файла: 25 мегабайт.