Как забанить ботов по юзерагенту с помощью Apache,ч.1

Ответить
Аватара пользователя
Deano
Сообщения: 3
Зарегистрирован: Вт ноя 22, 2016 10:17 am

Как забанить ботов по юзерагенту с помощью Apache,ч.1

Сообщение Deano » Ср май 17, 2017 3:52 pm

По мере появления некоторых проектов в поисковиках, их находят разные товарищи которые очень хотят контент с этих проектов выдрать, скорей всего на дорвеи/сплоги и т. д. Лично для меня никакой пользы от них нету, кроме того некоторые начинают борзеть и дергают по несколько страниц в секунду. Как то я хотел скачать один сайт, но после того как грабилка сайтов выкачивала страниц 10-20, скорость сайта резко понижалась до модемной, и качать становилось просто невозможно. Подозреваю что в том случае скорость резалась на файрволе. Сделать такое на виртуальном хостинге нереально, но хоть как то уменьшить нагрузку на сервер можно и нужно, т. к. большинство хостеров ставят ограничение на потребляемые ресурсы и рано или поздно из-за этих ботов аккаунт могут просто заморозить или отключить, в зависимости от хостера.
Вот пример нескольких ботов которые любят лазить по сайту:
WinHTTP Robot/1. 0 команда, приведенная в самом начале сначала читает все файлы в текущей директории (в моем случае все лог файлы для одного сайта за три месяца), потом выбирает оттуда только те строки в которых содержится WinHTTP, потом вырезает первую колонку (в случае логов apache это ip-адрес), после чего выбираются только уникальные и показывается число встретившихся совпадений.

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость