Как занести в черный или белый список много или несколько диапазонов IP-адресов с помощью ipset и iptables + fail2ban

РЕДАКТИРОВАТЬ:

Поразительно, как порой стремления найти решение бывает достаточно, чтобы медленно, но неуклонно вести его к решению. Кроме того, чем чаще я перечитываю свой вопрос, чтобы прояснить его, я понимаю, что этот «вопрос» скорее выходит за рамки «простого» вопроса или идеи получения ответов от сообщества.

Я переформулирую структуру этого вопроса в течение следующих часов, поскольку я все больше и больше понимаю принципы работы iptables. Процесс понимания также привел к некоторым более конкретным вопросам, которые я скоро задам этому сообществу и дам ссылку на этот вопрос.

В двух словах: Моя проблема в том, чтобы найти правильный набор правил, чтобы сделать:

мои собственные правила
fail2ban
дополнительные черные списки DNS работают вместе, тогда как "мои правила" также подразумевают либо внесение моей страны в белый список для ssh и, следовательно, блокировку всех других стран для ssh, НО позволяя все страны / диапазоны / IP-адреса для DNS-запросов, кроме набора из черного списка.

В цифрах:

для ssh: белый список 50 диапазонов ИЛИ черный список ок. 620 000 диапазонов (составлено через ipdeny.com и т. Д.)
записи в черный список для DNS: прибл. 140 (набор правил u32, сценарий (ы))
25 +/- правил для дополнительных услуг (см. Ниже)

Лирическая версия: Я борюсь с реализацией решения для своих нужд: Сценарий следующий. У меня есть (предположим, DNS) сервер. Помимо bind ssh необходимо учитывать sendmail, https и munin:

В общем, добиться этого было несложно. Кроме того, я установил fail2ban, так как я столкнулся с некоторыми (d) DOS-атаками со всего мира. Моей основной целью было максимально заблокировать сервер.

Моя идея заключалась в том, чтобы внести в белый список только некоторые диапазоны IP-адресов моей страны, которые соответствуют возможному динамическому распределению DNS-адресов интернет-провайдеров, к которым у меня есть доступ, то есть DSL и мобильных устройств. Таким образом, я не запираюсь.

Я просмотрел все сетевые диапазоны своих интернет-провайдеров, что привело к моему следующему набору скриптов / правил:

#ports:
#  22: SSH (#4,#5) (ssh)
#  25: SMTP (#20) (outgoing, sendmail for f2b report)
#  53: DNS (!!#16!! see end of #16 as differs for ns1&2) (outgoing, bind)
# 443: HTTPS (#10) (outgoing, dns-blacklist update)
#4949: munin (#26) (outgoing, sending client stats to server)

# Modify this file accordingly for your specific requirement.
# http://www.thegeekstuff.com: http://www.thegeekstuff.com/scripts/iptables-rules
# 1. Delete all existing rules
#iptables -F

# 2. Set default chain policies
iptables -P INPUT DROP
iptables -P FORWARD DROP
iptables -P OUTPUT DROP

# 4. Allow ALL incoming SSH
#iptables -A INPUT -i eth1 -p tcp --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
#iptables -A OUTPUT -o eth1 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

# 5. Allow incoming SSH only from a sepcific network (kabelBW/Unitymedia, Telekom, Accelerated)
# note: Using '-I' instead of '-A' to insert to top of INPUT chain to put rule in front of fail2ban!
iptables -A INPUT -i eth0 -p tcp -s 5.10.48.0/20    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 5.10.160.0/19   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 5.56.176.0/20   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 5.56.192.0/18   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 5.146.0.0/15    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 5.158.128.0/18  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 24.134.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 31.16.0.0/14    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.4.0.0/15     --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.24.0.0/16    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.49.0.0/17    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.114.96.0/19  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.201.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 37.209.0.0/17   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 46.5.0.0/16     --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 46.223.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 46.237.192.0/18 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 46.252.128.0/20 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 62.143.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 77.20.0.0/14    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 78.42.0.0/15    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 78.94.0.0/16    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 80.69.96.0/20   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 81.210.128.0/17 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 82.211.0.0/18   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 82.212.0.0/18   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 83.169.128.0/18 --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 84.200.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 84.201.0.0/18   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 85.216.0.0/17   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 88.134.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 88.152.0.0/15   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 91.64.0.0/14    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 91.89.0.0/16    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 92.50.64.0/18   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 94.79.128.0/18  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 95.88.0.0/14    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 95.208.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 95.222.0.0/15   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 109.90.0.0/15   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 109.192.0.0/15  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 130.180.0.0/17  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 134.3.0.0/16    --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 146.52.0.0/16   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 149.172.0.0/16  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 176.198.0.0/15  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 178.24.0.0/14   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 178.200.0.0/14  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 188.192.0.0/14  --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp -s 217.8.48.0/20   --dport 22 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT

service fail2ban restart


# 10. Allow outgoing HTTPS
iptables -A OUTPUT -o eth0 -p tcp --dport 443 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT

# 12. Ping from inside to outside
iptables -A OUTPUT -p icmp --icmp-type echo-request -j ACCEPT
iptables -A INPUT -p icmp --icmp-type echo-reply -j ACCEPT

# 13. Ping from outside to inside
iptables -A INPUT -p icmp --icmp-type echo-request -j ACCEPT
iptables -A OUTPUT -p icmp --icmp-type echo-reply -j ACCEPT

# 14. Allow loopback access
iptables -A INPUT -i lo -j ACCEPT
iptables -A OUTPUT -o lo -j ACCEPT

# 16. Allow outbound DNS
iptables -A OUTPUT -p udp -o eth0 --dport 53 -j ACCEPT
iptables -A INPUT -p udp -i eth0 --sport 53 -j ACCEPT

#Allow inbound DNS

iptables -A INPUT -p udp -s 0/0 --sport 1024:65535 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -p udp --sport 53 -d 0/0 --dport 1024:65535 -m state --state ESTABLISHED -j ACCEPT
iptables -A INPUT -p udp -s 0/0 --sport 53 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -A OUTPUT -p udp --sport 53 -d 0/0 --dport 53 -m state --state ESTABLISHED -j ACCEPT


# 20. Allow Sendmail or Postfix
iptables -A OUTPUT -p tcp --dport 25 -j ACCEPT
iptables -A INPUT -p tcp --sport 25 -m state --state ESTABLISHED -j ACCEPT

# 26. Allow Munin Stats
iptables -A INPUT -p tcp --dport 4949 -j ACCEPT
iptables -A OUTPUT -p tcp --sport 4949 -j ACCEPT

service munin-node restart
sh /root/update_domain_blacklist.sh

Перезапуск fail2ban перед набором правил # 10 должен гарантировать, что цепочки (пере) настроены правильно после очистки из iptable (сброшены -F в начале скрипта. То же самое относится к munin, который жаловался на то, что не может достичь своего сервера, если не перезапускается после применения правил исключения).

Я намерен применить правила через /etc/rc.local. Это означает, что уже созданы цепочки для fail2ban и munin.

Последовательность проверки брандмауэра, которую я хотел бы достичь: запрос - это DNS? -> (а); ssh? -> (б); одна из моих других услуг? -> (в); что-нибудь еще? -> (г):

(a): служить, если не занесен в черный список скрипт черного списка DNS
(b): служить, если не в черном списке ИЛИ если в белом списке в соответствии с моим набором чистого диапазона
(c): служить в соответствии с моими установленными правилами
(d): DROP / TARPIT / любая лучшая практика
if (b) дополнительно передать fail2ban

Проблемы с приведенными выше правилами:

fail2ban срабатывает перед проверкой белого списка - хорошо для моей части ssh, плохой для моей части DNS: моя догадка

Затем я попытался использовать ipset, чтобы заблокировать / занести в черный список «весь мир», кроме моих 50 диапазонов. Теоретически возможно, но разбор диапазонов 620k длится примерно больше 10 минут; Я отменил операцию и вернулся к своим диапазонам белого списка. Следующая идея: по-прежнему использовать ipset для 50 диапазонов и заблокировать / занести в черный список обратный из этого списка для ssh:

!/bin/bash
#Script to process ip ranges to ban using IPSet and IPTables

# 10. Allow outgoing HTTPS
iptables -I OUTPUT -o eth0 -p tcp --dport 443 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -I INPUT -i eth0 -p tcp --sport 443 -m state --state ESTABLISHED -j ACCEPT

# 12. Ping from inside to outside
iptables -I OUTPUT -p icmp --icmp-type echo-request -j ACCEPT
iptables -I INPUT -p icmp --icmp-type echo-reply -j ACCEPT

# 14. Allow loopback access
iptables -I INPUT -i lo -j ACCEPT
iptables -I OUTPUT -o lo -j ACCEPT

# 16. Allow outbound DNS
iptables -I OUTPUT -p udp -o eth0 --dport 53 -j ACCEPT
iptables -I INPUT -p udp -i eth0 --sport 53 -j ACCEPT

#Allow inbound DNS
iptables -I INPUT -p udp -s 0/0 --sport 1024:65535 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -I OUTPUT -p udp --sport 53 -d 0/0 --dport 1024:65535 -m state --state ESTABLISHED -j ACCEPT
iptables -I INPUT -p udp -s 0/0 --sport 53 --dport 53 -m state --state NEW,ESTABLISHED -j ACCEPT
iptables -I OUTPUT -p udp --sport 53 -d 0/0 --dport 53 -m state --state ESTABLISHED -j ACCEPT

# 20. Allow Sendmail or Postfix #to mail.awib.it (82.211.19.134)
iptables -I OUTPUT -p tcp --dport 25 -j ACCEPT
iptables -I INPUT -p tcp --sport 25 -m state --state ESTABLISHED -j ACCEPT

# 26. Allow Munin Stats
iptables -I INPUT -p tcp --dport 4949 -j ACCEPT
iptables -I OUTPUT -p tcp --sport 4949 -j ACCEPT

#iptables -I OUTPUT -o eth0 -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT
ipset create countryblock hash:net
while read line; do ipset add countryblock $line; done < blocklist.txt
iptables -A INPUT -m set ! --match-set countryblock src -j DROP

тогда как 'blocklist.txt' содержит мои 50 диапазонов, которые должны быть внесены в белый список, или наоборот, чтобы попасть в черный список. Но инверсия этого набора также подразумевает, что ВСЕ DNS-трафик будет заблокирован и т.д ... это сводит меня с ума! :-D

Но по какой-то причине у меня либо вообще не было доступа к моему серверу, либо инверсия не работала (попробовал несколько апплетов web2ssh, чтобы проверить приглашение ssh).

Я также нашел соответствующие определения правил создания действий fail2ban в его конфигурациях; но чтобы уменьшить накладные расходы, мне бы очень хотелось оставить правила по умолчанию для munin и f2b такими, какие они есть, и применить необходимые изменения к моим собственным правилам и, возможно, к сценарию dns-blacklist.

Я знаю, что этот вопрос / запрос может быть не самым простым, и вы можете спросить, почему бы просто не использовать fail2ban? Мне нравится знать, есть ли подозрительные действия, и, следовательно, получать отчет о заблокированном хосте приятно. Хотя я не хочу, чтобы это было для всех зарубежных хостов (в десять раз, поскольку я использую fail2ban на более чем 10 серверах).

Другим подходом может быть выделенный сервер / маршрутизатор межсетевого экрана, обрабатывающий весь трафик. Но это была бы довольно сложная настройка правил, и я не хочу случайно блокировать ВСЕ свои серверы из-за глупого неправильного правила конфигурации / ошибки или чего-то еще. Также это превысит мой бесплатный трафик, который в настоящее время распределяется между всеми 10 серверами.

Я надеюсь, что рядом найдется какой-нибудь придирчивый и проницательный друг, готовый помочь мне правильно отсортировать правила.

Прежде чем излишне не заполнять этот вопрос, я сейчас задерживаюсь и предоставляю информацию по запросу.

PS: возможно, кто-то сможет добавить тег "ipset", так как я не могу его создать из-за отсутствия репутации. Спасибо!

Выглядит ужасно сложно ....

Я думаю, вы можете получить большую ценность для безопасности и производительности, просто переместив sshd и munin в разные порты.

Запуск этих служб на портах, которые не соответствуют портам по умолчанию, подавит большую часть трафика грубой силы / dos. После этого Fail2ban сможет уловить любые выбросы.

Перейдя на custom портов, вы, по сути, создаете следующее:

iptables -A "Anyone that doesn't know the correct ssh port" -j DROP

Вы все еще можете регистрировать попытки подключения к порту 22 но я думаю, что вы могли бы найти более эффективное использование дискового пространства.

ipset create banned_hosts hash:net family inet hashsize 524288 maxelem 800000 counters comment
ipset create whitelist hash:net family inet hashsize 524288 maxelem 800000 counters comment

iptables -I INPUT 1 -m set --match-set banned_nets src -j DROP
iptables -I INPUT 2 -m set --match-set whitelist src -j ACCEPT

ipset add banned_hosts 171.248.31.131
ipset add banned_hosts 191.185.207.16
ipset add banned_hosts 45.247.22.251
ipset add banned_hosts 82.98.162.90
ipset add banned_hosts 125.227.181.216
ipset add banned_hosts 122.117.163.44

сохранить все ipset

ipset save >all.txt

загрузить весь набор

ipset load <all.txt