Как многие из тех, кто писал здесь, мой сервер apache жестоко забит до смерти роботами, большинство из которых являются хорошими роботами.
Невозможно изменить их скорость сканирования.
У кого-нибудь есть предложение, как решить эту проблему? Я подумал, возможно, о создании 2 групп, называемых пользователями и ботами, и выделении 50% для каждой.
Затем из поведения или пользовательского агента, если что-то идентифицировано как бот, оно будет установлено на группу ботов, члены которой имеют максимум 50% общих ресурсов. Если боты попытаются взять больше, система замедлится пропорционально, поэтому у них никогда не будет больше 50%.
Кто-нибудь знает, как сделать тот или иной метод с той же целью? Я использую centos и у меня очень мало опыта в этом.