У меня есть тюрьма, которая подхватывает определенный пользовательский агент. В конечном итоге он его запрещает, но все равно обрабатывает несколько сотен запросов.
Вот соответствующая информация (если что-то еще не требуется):
Запретить действие в /etc/fail2ban/jail.conf
banaction = iptables-allports
Вот запись в /etc/fail2ban/jail.local
[domaincrawler-bot]
enabled = true
filter = domaincrawler-bot
logpath = /var/log/nginx/*access.log
port = 8221,8222,8231,8232
maxretry = 1
findtime = 10
bantime = -1
action = iptables-allports[name=domaincrawler-bot]
У меня есть сценарий оболочки, который группирует наиболее частые попадания по IP-адресу, и ему все еще удается получить сотни запросов перед запретом:
Count IP Address User Agent String
543 80.248.225.168 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/***************************.com)" "-"
455 80.248.225.79 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/********.com)" "-"
282 80.248.225.4 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/********************.com)" "-"
Я могу убедиться, что он в конечном итоге будет отправлен в iptables:
root@****:/var/log/nginx# iptables -L -vn | grep 80.248.225.4
0 0 REJECT all -- * * 80.248.225.4 0.0.0.0/0 reject-with icmp-port-unreachable
Вот моя запись регулярного выражения в /etc/fail2ban/filter.d/domaincrawler-bot.conf
[Definition]
failregex = ^\d{4} <HOST> .*DomainCrawler.*
Выполнение теста регулярного выражения дает тысячи совпадающих строк:
root@****:/var/log/nginx# fail2ban-regex --print-all-matched access.log "^\d{4} <HOST> .*DomainCrawler.*"
Running tests
=============
Use failregex line : ^\d{4} <HOST> .*DomainCrawler.*
Use log file : access.log
Use encoding : UTF-8
Results
=======
Failregex: 2222 total
|- #) [# of hits] regular expression
| 1) [2222] ^\d{4} <HOST> .*DomainCrawler.*
`-
Ignoreregex: 0 total
Date template hits:
|- [# of hits] date format
| [80276] Day(?P<_sep>[-/])MON(?P=_sep)Year[ :]?24hour:Minute:Second(?:\.Microseconds)?(?: Zone offset)?
`-
Lines: 80276 lines, 0 ignored, 2222 matched, 78054 missed [processed in 7.69 sec]
Я также проверил на regex101.com, что он действительно находит символы:
И вот результат проверки статуса тюрьмы:
root@****:/var/log/nginx# fail2ban-client status domaincrawler-bot
Status for the jail: domaincrawler-bot
|- Filter
| |- Currently failed: 1
| |- Total failed: 31178
| `- File list: /var/log/nginx/access.log
`- Actions
|- Currently banned: 12
|- Total banned: 12
`- Banned IP list: 176.74.192.36 176.74.192.40 176.74.192.42 185.6.8.3 185.6.8.7 185.6.8.9 194.68.17.5 80.248.225.142 80.248.225.168 80.248.225.4 80.248.225.7 80.248.225.79
Этот конкретный сервер получает много трафика, так что, возможно, он немного отстает при разборе журнала доступа? Что еще я могу сделать для повышения производительности? Как я уже сказал, в конечном итоге он блокирует IP, но не раньше, чем получает сотни (иногда тысячи) запросов на разные тюрьмы.
Спасибо вам всем.
Есть интервал N секунд между сканированием журнала. Это что-то вроде 1-5 секунд. Fail2ban блокирует после maxretry
или N секунд, который всегда будет последним.