Назад | Перейти на главную страницу

Fail2ban блокирует IP, но только после того, как он уже получит сотни запросов

У меня есть тюрьма, которая подхватывает определенный пользовательский агент. В конечном итоге он его запрещает, но все равно обрабатывает несколько сотен запросов.

Вот соответствующая информация (если что-то еще не требуется):

Запретить действие в /etc/fail2ban/jail.conf

banaction = iptables-allports

Вот запись в /etc/fail2ban/jail.local

[domaincrawler-bot]
enabled = true
filter = domaincrawler-bot
logpath = /var/log/nginx/*access.log
port = 8221,8222,8231,8232
maxretry = 1
findtime = 10
bantime = -1
action = iptables-allports[name=domaincrawler-bot]

У меня есть сценарий оболочки, который группирует наиболее частые попадания по IP-адресу, и ему все еще удается получить сотни запросов перед запретом:

Count    IP Address    User Agent String

543 80.248.225.168 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/***************************.com)" "-"
455 80.248.225.79 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/********.com)" "-"
282 80.248.225.4 | "DomainCrawler/3.0 (info@domaincrawler.com; http://www.domaincrawler.com/********************.com)" "-"

Я могу убедиться, что он в конечном итоге будет отправлен в iptables:

root@****:/var/log/nginx# iptables -L -vn | grep 80.248.225.4
0     0 REJECT     all  --  *      *       80.248.225.4         0.0.0.0/0            reject-with icmp-port-unreachable

Вот моя запись регулярного выражения в /etc/fail2ban/filter.d/domaincrawler-bot.conf

[Definition]
failregex = ^\d{4} <HOST> .*DomainCrawler.*

Выполнение теста регулярного выражения дает тысячи совпадающих строк:

root@****:/var/log/nginx# fail2ban-regex --print-all-matched access.log "^\d{4} <HOST> .*DomainCrawler.*"



 Running tests
=============

Use   failregex line : ^\d{4} <HOST> .*DomainCrawler.*
Use         log file : access.log
Use         encoding : UTF-8


Results
=======

Failregex: 2222 total
|-  #) [# of hits] regular expression
|   1) [2222] ^\d{4} <HOST> .*DomainCrawler.*
`-

Ignoreregex: 0 total

Date template hits:
|- [# of hits] date format
|  [80276] Day(?P<_sep>[-/])MON(?P=_sep)Year[ :]?24hour:Minute:Second(?:\.Microseconds)?(?: Zone offset)?
`-

Lines: 80276 lines, 0 ignored, 2222 matched, 78054 missed [processed in 7.69 sec] 

Я также проверил на regex101.com, что он действительно находит символы:

И вот результат проверки статуса тюрьмы:

    root@****:/var/log/nginx# fail2ban-client status domaincrawler-bot
Status for the jail: domaincrawler-bot
|- Filter
|  |- Currently failed: 1
|  |- Total failed: 31178
|  `- File list:    /var/log/nginx/access.log
`- Actions
   |- Currently banned: 12
   |- Total banned: 12
   `- Banned IP list:   176.74.192.36 176.74.192.40 176.74.192.42 185.6.8.3 185.6.8.7 185.6.8.9 194.68.17.5 80.248.225.142 80.248.225.168 80.248.225.4 80.248.225.7 80.248.225.79

Этот конкретный сервер получает много трафика, так что, возможно, он немного отстает при разборе журнала доступа? Что еще я могу сделать для повышения производительности? Как я уже сказал, в конечном итоге он блокирует IP, но не раньше, чем получает сотни (иногда тысячи) запросов на разные тюрьмы.

Спасибо вам всем.

Есть интервал N секунд между сканированием журнала. Это что-то вроде 1-5 секунд. Fail2ban блокирует после maxretry или N секунд, который всегда будет последним.