«Ip route get» дает «Нет маршрута к хосту» в Linux CentOS 7.7

Я исследовал основную причину проблемы с маршрутизацией волос в кластере centos7 ...

Поведение:

• Пакеты TCP из контейнера Docker достигают целей за пределами кластера, но пакеты ответа не достигают контейнера, который ожидает этого ответа
• Использование журналирования iptables теперь убедительно указывает на то, что "решение о маршрутизации" (как говорят iptables) вызывает эту проблему. Точнее: ответные пакеты все еще существуют на этапе "mangle PREROUTING", но отсутствуют на этапе "mangle FORWARD / INPUT"
• игра с "ip route get" приводит к:

## Check route from container to service host outside of cluster
ip route get to 172.17.27.1 from 10.233.70.32 iif cni0
## Works just fine as metioned. Result:
# 172.17.27.1 from 10.233.70.32 dev ens192 
# cache iif cni0 

## Check route from service host outside of cluster back to container
ip route get to 10.233.70.32 from 172.17.27.1 iif ens192
## Does not work. Error Msg:
# RTNETLINK answers: No route to host

• Тогда я был почти уверен, что где-то в таблице маршрутизации должен быть неправильно настроенный маршрут. Команда "ip route list" дает:

default via 172.17.0.2 dev ens192 proto static 
10.233.64.0/24 via 10.233.64.0 dev flannel.1 onlink 
10.233.65.0/24 via 10.233.65.0 dev flannel.1 onlink 
10.233.66.0/24 via 10.233.66.0 dev flannel.1 onlink 
10.233.67.0/24 via 10.233.67.0 dev flannel.1 onlink 
10.233.68.0/24 via 10.233.68.0 dev flannel.1 onlink 
10.233.69.0/24 via 10.233.69.0 dev flannel.1 onlink 
10.233.70.0/24 dev cni0 proto kernel scope link src 10.233.70.1 # this is the local container network  
10.233.71.0/24 via 10.233.71.0 dev flannel.1 onlink 
172.17.0.0/18 dev ens192 proto kernel scope link src 172.17.31.118 
192.168.1.0/24 dev docker0 proto kernel scope link src 192.168.1.5 linkdown 

• Хотя я не смог найти никаких ошибок в приведенных выше правилах, он становится еще более запутанным при сравнении со вторым кластером, который был настроен с использованием тех же доступных скриптов. Выход здорового кластера:

  • "ip route get":

  ## Check route from container to service host outside of cluster
  ip route get to 172.17.27.1 from 10.233.66.2 iif cni0
  ## Works:
  # 172.17.27.1 from 10.233.66.2 dev eth0 
  # cache iif cni0 
  
  ## Check route from service host outside of cluster back to container
  ip route get to 10.233.66.2 from 172.17.27.1 iif eth0
  ## Worked! But why when using same rules as unhealthy cluster above? - please see below:
  # 10.233.66.2 from 172.17.27.1 dev cni0 
  # cache iif eth0 
  
  

  • "список IP-маршрутов":

  default via 172.17.0.2 dev eth0 proto dhcp metric 100 
  10.233.64.0/24 via 10.233.64.0 dev flannel.1 onlink 
  10.233.65.0/24 via 10.233.65.0 dev flannel.1 onlink 
  10.233.66.0/24 dev cni0 proto kernel scope link src 10.233.66.1 # this is the local container network
  10.233.67.0/24 via 10.233.67.0 dev flannel.1 onlink 
  172.17.0.0/18 dev eth0 proto kernel scope link src 172.17.43.231 metric 100 
  192.168.1.0/24 dev docker0 proto kernel scope link src 192.168.1.5 linkdown
  

Любые идеи? намекает?

Спасибо большое!