Модуль отслеживает активность ботов на сайте.

Простое и удобное расширение, имеющее возможность добавлять любых ботов.

Ведет архивную статистику с посещаемыми страницами и датами их посещения (в том числе IP-адреса).

Полезен для анализа индексации сайта разными поисковыми системами, ботами проверки ссылок (типа Ahrefs) или анализа парсинга сайта злоумышленниками.

Выслушаю любое мнение по улучшению и хотелкам.

1. Интересен последний заход робота

2. Интересна статистика заходов, частота посещения, количество страниц за время посещения, по времени..

3. В том числе возможно отслеживание известных ботов парсинга и спамботов, которые можно прикрывать, но уже другими средствами.

Demo нет, все на скрине.

Полезен   или бесполезен - решать вам..
Что умеем..
бот - страница - route - дата

Т.е. юзерагент - посещенная страница - внутренне представление - дата посещения

Зачем?
Вы создали товар, вам нужно узнать  - посетил ли страницу бот, и когда.
Конечно, вы можете использовать парсеры http логов, и делать это чуть ли не ежедневно..
Или же пользовать отчеты от различных метрик

Модуль дает возможность в любое время узнать о посещаемости ботами. Строить свои отчеты при определенном навыке.
Можно увидеть какие боты посещают. айпи, и пострить частость, и время посещения. Например на одном из подопытных сайтов, было выяснено, что Г-бот  очень редко ходит с 2-х до 4-х утра, а в рабочие часы чаще.
 

Далее читать не обязательно  - просто история развития

Редактирование ботов

Фильтр по ботам

Кнопки проверки страниц в индексе

посещенная страница представлена с протоколом

Добавлена кнопка отчета

Учитываются мултимагазины

Включена поддержка кириллический доменов

Добавлен отчет по частоте посещения роботами по часам.Добавлен функционал отладки - проверить правильно ли установлен

Можно отключить проверку ссылок в роботс, если не нужно.

добавлены отчеты-информация - количество ботов на странице, количество страниц, просмотренных ботом - при наведении на столбец