Блокировка всех вредоносных подключений к nginx с помощью fail2ban

В последнее время на мой сервер резко возросло количество атак, что заставило меня перейти на более агрессивную политику блокировки fail2ban. В попытке уменьшить количество входящих соединений я также перенастроил nginx (для явно вредоносных запросов):

keepalive_requests 0;
keepalive_timeout 0;

return 444;

(...)

error_page 400 500 502 503 504 =444 /444.html;

location /444.html {
    return 444;
}

так что без ответа следующее соединение или запрос не будут отправлены немедленно, и nginx не вернет ничего полезного для злоумышленника.

Поскольку они часто сканируют порты, я также добавил фильтр в fail2ban, который блокирует их для всех портов и протоколов, избегая дальнейших подключений:

enabled = true
maxretry = 1
bantime = 1d
port = all
banaction = %(banaction_allports)s[blocktype=DROP,protocol=all]

Но теперь я замечаю, что nginx собирает все большее количество установленных соединений, не закрывая их. Все это соединения, которые заблокированы fail2ban.

С одной стороны, это эффективно уменьшило количество попыток (отслеживаемых до DROPed), с другой стороны, мне нужно время от времени перезапускать nginx, чтобы очистить все эти заблокированные, но открытые соединения.

Я ищу лучший способ сделать это, разорвать эти соединения без перезапуска службы или какой-либо подобной идеи. Использование nginx / 1.14.2 в сочетании с fail2ban / 0.11.1 в Debian Buster.

Заранее спасибо!

Изменить 1:

Чтобы уточнить: существует довольно много соединений FIN-WAIT-1, LAST-ACK, а также ESTAB-подключений IP-адресов, которые запрещены fail2ban. Связи с ESTAB, кажется, остаются там довольно долго (может, даже до снятия запрета?). Моя общая идея заключалась в том, чтобы не допустить, чтобы они тратили дополнительное время на этом IP-адресе, имитируя отсутствующий хост, и уменьшить использование моих сетевых ресурсов на сервере.

Я попытался conntrack -D -s <ip> как предлагается в ссылке на комментарий @Danila Vershinin, но переключился на ss -K dst <ip> как дополнительное действие fail2ban. Но это работает только с установленными связями и загадочным образом не удаляет все из них.