Я уже некоторое время пытаюсь разобраться в этом, и, ну, похоже, я не могу. У нас есть два сервера за ASA5505 (версия программного обеспечения 8.3) в центре обработки данных. Они запускают широкий спектр сервисов, включая наш веб-сайт, внутренний XMPP-сервер, игровые серверы (Minecraft и Team Fortress 2, оба используют UDP по большей части), почту ...
Каждый день примерно в полдень по тихоокеанскому стандартному времени скорость сети становится совершенно ужасной примерно на час, в то время как системная нагрузка брандмауэра увеличивается с обычных 30% до более 80%. В соответствии с show processes cpu-hog, "Крякский процесс" (что за утка ?!) и особенно "Dispatch Unit", ну, немного нагружают ЦП.
Кажется, есть закономерность, когда сеть выходит из строя. Примерно 2 секунды он на полной скорости, затем замедляется почти до полной остановки еще на 2 секунды. Я включил логирование по ssh во время этого, и ничего интересного не обнаружилось. Всего несколько заблокированных запросов ICMP и, что немного странно, Deny IP due to Land Attack from [one of our IPs] to [the exact same IP], но это может быть реальная атака?
В любом случае скорость плохая от и к двум серверам, а также к самому брандмауэру, заставляя меня думать, что он перегружен, хотя пинг между двумя серверами всегда хороший. Я не уверен, как именно настроена сеть, поэтому между брандмауэром и серверами может быть просто небольшой переключатель.
Еще одна странность, но, опять же, это могло быть нормально (ничего не нашел), в show threat-detection statistics внутренние IP-адреса наших серверов / виртуальных машин отображаются первыми, а некоторые на самом деле имеют числа больше 0 для fw-drop.
Что я должен попробовать в следующий раз, когда возникнет эта проблема? Любые идеи относительно того, что может вызвать это? Должен ли я отключить limit-policy-map (см. Ниже)?
РЕДАКТИРОВАТЬ: проверка связи с серверами через брандмауэр также покажет эти симптомы.
Вот еще некоторая системная информация:
access-list cached ACL log flows: total 0, denied 0 (deny-flow-max 4096)
alert-interval 300
access-list outside_in; 33 elements; name hash: 0xc5896c24
access-list outside_in line 1 extended permit tcp any object-group www_servers object-group www_srv 0x9c6770f3
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq ftp (hitcnt=2443) 0x73b87a74
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq ssh (hitcnt=27915) 0x73a19ab3
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq www (hitcnt=21568957) 0x045edf43
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq https (hitcnt=19746) 0xe54a2315
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 3389 (hitcnt=3919) 0x58629d3c
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 30 (hitcnt=134) 0xcd3db679
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 5922 (hitcnt=43) 0x17c6f16b
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 6122 (hitcnt=1) 0x3ea3c2e6
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 2200 (hitcnt=2) 0x8356fbc6
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq 5722 (hitcnt=1) 0xaefada3e
access-list outside_in line 1 extended permit tcp any(65536) object-group www_servers(1) eq domain (hitcnt=17) 0x45c7e0b1
access-list outside_in line 2 extended permit udp any object-group www_servers object-group www_srv_udp 0x9426d24f
access-list outside_in line 2 extended permit udp any(65536) object-group www_servers(1) eq 3389 (hitcnt=1) 0x15cdc545
access-list outside_in line 2 extended permit udp any(65536) object-group www_servers(1) eq domain (hitcnt=4468079) 0x1b6d6b19
access-list outside_in line 3 extended permit icmp host [...] any (hitcnt=0) 0x155d597f
access-list outside_in line 4 extended permit icmp host [...] any (hitcnt=289) 0x0fcc844a
access-list outside_in line 5 extended permit icmp any object-group www_servers echo-reply 0x46f79e30
access-list outside_in line 5 extended permit icmp any(65536) object-group www_servers(1) echo-reply (hitcnt=97) 0x53984766
access-list outside_in line 6 extended permit tcp host [...] eq 25565 host 10.5.209.12 eq 25565 (hitcnt=0) 0x60c828e6
access-list outside_in line 7 extended permit tcp any object-group mc eq 25565 0xcb0d2f17
access-list outside_in line 7 extended permit tcp any(65536) object-group mc(6) eq 25565 (hitcnt=478488) 0x3ce89b9a
access-list outside_in line 8 extended permit tcp any object-group irc object-group ircd 0x65619a8f
access-list outside_in line 8 extended permit tcp any(65536) object-group irc(8) eq 6667 (hitcnt=6336) 0xda23eb42
access-list outside_in line 8 extended permit tcp any(65536) object-group irc(8) eq 6969 (hitcnt=8445981) 0xb39f9de5
access-list outside_in line 9 extended permit tcp any object-group rob object-group xmppd 0x24db3318
access-list outside_in line 9 extended permit tcp any(65536) object-group rob(9) eq 5222 (hitcnt=2836) 0x3b220aef
access-list outside_in line 9 extended permit tcp any(65536) object-group rob(9) eq 5269 (hitcnt=316) 0x8c4a1677
access-list outside_in line 10 extended permit udp any object-group rob object-group xmppd 0x56997935
access-list outside_in line 10 extended permit udp any(65536) object-group rob(9) eq 5222 (hitcnt=0) 0x1378a09e
access-list outside_in line 10 extended permit udp any(65536) object-group rob(9) eq 5269 (hitcnt=0) 0x484e999c
access-list outside_in line 11 extended permit udp any object-group tf2_servers object-group tf2_udp_ports 0x4ed88dd7
access-list outside_in line 11 extended permit udp any(65536) object-group tf2_servers(12) range 26901 27009 (hitcnt=20) 0x984f0cfd
access-list outside_in line 11 extended permit udp any(65536) object-group tf2_servers(12) range 27015 27024 (hitcnt=1842395) 0x5117dbf3
access-list outside_in line 12 extended permit tcp any object-group tf2_servers object-group tf2_tcp_ports 0xd792e8d1
access-list outside_in line 12 extended permit tcp any(65536) object-group tf2_servers(12) eq 8080 (hitcnt=16028) 0x1f9dcdd6
access-list outside_in line 13 extended permit object-group tcp_udp any object-group rob object-group mumble_ports 0x62e8f226
access-list outside_in line 13 extended permit tcp any(65536) object-group rob(9) eq 64738 (hitcnt=4) 0x663e2204
access-list outside_in line 13 extended permit udp any(65536) object-group rob(9) eq 64738 (hitcnt=14) 0x3751c05a
access-list outside_in line 14 extended permit udp any object-group kfy_servers object-group kfy_ports 0x928ebaab
access-list outside_in line 14 extended permit udp any(65536) object-group kfy_servers(16) eq 9009 (hitcnt=52) 0x3c77464e
access-list outside_in line 15 extended permit udp any host 10.5.209.10 object-group bittorrent 0x20a28a30
access-list outside_in line 15 extended permit udp any host 10.5.209.10(168153354) eq 10299 (hitcnt=44693845) 0x140f0e51
access-list outside_in line 16 extended permit tcp any host 10.5.209.10 object-group bittorrent 0xfe939491
access-list outside_in line 16 extended permit tcp any host 10.5.209.10(168153354) eq 10299 (hitcnt=3763575) 0x1ef0e366
access-list outside_in line 17 extended permit icmp any object-group rob 0x6f990c22
access-list outside_in line 17 extended permit icmp any(65536) object-group rob(9) (hitcnt=1418) 0x8401a397
access-list limiter; 3 elements; name hash: 0x189b5c6d
access-list limiter line 1 extended deny ip host [...] any (hitcnt=0) 0x72cb4f57
access-list limiter line 2 extended deny ip host 10.0.0.0 any (hitcnt=0) 0x3d376866
access-list limiter line 3 extended permit ip any any (hitcnt=89047566) 0x1bc67ee2
policy-map limit-policy-map
class limit-map
set connection per-client-max 500 per-client-embryonic-max 30
set connection timeout embryonic 0:00:10 half-closed 0:05:00 dcd
policy-map global_policy
class inspection_default
inspect dns
inspect ftp
class-map limit-map
match access-list limiter
class-map inspection_default
match default-inspection-traffic
class-map limit
Вы понимаете, что пропускная способность ASA5505 составляет десятки мегабит? Они были разработаны для небольшого офиса / домашнего офиса и филиалов. Они никогда не были предназначены для работы с гигабайтами трафика.
В любом случае, у ASA5505 есть ряд факторов, которые могут вызвать повышенную нагрузку на ЦП. Большинство из них основаны на фильтрах. Если у вас есть сложные фильтры и политики. Чем сложнее вы выполняете эти фильтры, тем больше времени занимает обработка каждого пакета.
Я бы начал с просмотра графиков трафика для восходящего потока и серверов, чтобы выяснить, увеличиваются ли уровни трафика в указанное вами время. Вы действительно ищете закономерности. Если у вас нет графиков для ваших серверов, вы должны их получить, и ваши провайдеры должны иметь возможность предоставить вам некоторую форму данных о трафике. Это должно дать вам некоторое представление о том, в каком направлении возникли проблемы.
Если это на стороне сервера, то у вас все под вашим контролем, и вам следует искать виновника там. Возможно, ошибочный процесс или хитрая работа cron? Может быть, какой-то процесс, который по какой-то причине сейчас генерирует много трафика?
Если это проблема со стороны провайдера, вам придется проконсультироваться с ними, чтобы узнать, можно ли что-нибудь сделать с Ризом.