Я построил кластер (v1.15.4) на Hyper-V с
- linux node (master)
- linux node (worker)
- windows node (worker)
- networking - flannel (host-gw)
- mac spoofing enabled for vms
развернул win-webserver.yaml, чтобы проверить, работают ли окна. https://kubernetes.io/docs/setup/production-environment/windows/user-guide-windows-containers/
kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
win-webserver-7779dc4df7-58qs2 1/1 Running 0 18m 10.42.2.41 node01 <none> <none>
win-webserver-7779dc4df7-mb4sf 1/1 Running 0 18m 10.42.2.43 node01 <none> <none>
win-webserver-7779dc4df7-w5kjt 1/1 Running 0 18m 10.42.2.44 node01 <none> <none>
win-webserver-7779dc4df7-wm245 1/1 Running 0 18m 10.42.2.45 node01 <none> <none>
kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.43.0.1 <none> 443/TCP 122m
win-webserver NodePort 10.43.91.255 <none> 80:30378/TCP 72m
Развертывание прошло нормально, однако контейнеры, работающие в Windows, не могут разрешить DNS и получить доступ в Интернет.
DNS-запрос из модуля Windows
DNS request timed out.
timeout was 2 seconds.
Server: UnKnown
Address: 10.43.0.10
DNS request timed out.
timeout was 2 seconds.
DNS request timed out.
Также нельзя получить доступ к модулям из Linux с помощью службы.
curl http://10.43.91.255 --connect-timeout 30
curl: (28) Connection timed out after 30000 milliseconds
Бревна фланелевые
kubectl logs -n kube-system pod/kube-flannel-8dqcc -c kube-flannel
I1015 12:48:40.437400 1 main.go:527] Using interface with name eth0 and address 192.168.x.x
I1015 12:48:40.437491 1 main.go:544] Defaulting external address to interface address (192.168.x.x)
I1015 12:48:40.538336 1 kube.go:126] Waiting 10m0s for node controller to sync
I1015 12:48:40.538380 1 kube.go:309] Starting kube subnet manager
I1015 12:48:41.538500 1 kube.go:133] Node controller sync successful
I1015 12:48:41.538539 1 main.go:244] Created subnet manager: Kubernetes Subnet Manager - node02
I1015 12:48:41.538551 1 main.go:247] Installing signal handlers
I1015 12:48:41.538676 1 main.go:386] Found network config - Backend type: vxlan
I1015 12:48:41.538751 1 vxlan.go:120] VXLAN config: VNI=4096 Port=4789 GBP=false DirectRouting=false
W1015 12:48:41.539007 1 device.go:84] "flannel.4096" already exists with incompatable configuration: vtep (external) interface: 2 vs 3; recreating device
I1015 12:48:41.632647 1 main.go:317] Wrote subnet file to /run/flannel/subnet.env
I1015 12:48:41.632666 1 main.go:321] Running backend.
I1015 12:48:41.632675 1 main.go:339] Waiting for all goroutines to exit
I1015 12:48:41.632695 1 vxlan_network.go:60] watching for new subnet leases
E1015 13:01:19.765370 1 vxlan_network.go:101] error decoding subnet lease JSON: invalid MAC address
E1015 13:11:30.468144 1 vxlan_network.go:101] error decoding subnet lease JSON: invalid MAC address
Любое предложение приветствуется.
Обновить
Мне удалось заставить мой кластер заработать. Причина сбоя связи заключалась в том, что у меня было две сети, подключенные к каждой из машин kubernetes.
linux master - internet facing eth0 (192.168.6.2) eth1 (192.168.3.12)
linux worker - internet facing eth0 (192.168.6.3) eth1 (192.168.3.13)
windows node - internet facing Ethernet_LB (192.168.6.4) Ethernet_FW (192.168.3.14)
Виртуальный коммутатор в окнах был создан на Ethernet_FW, у которого не было подключения к Интернету. После запуска Wireshark и tdcdump я обнаружил, что
- модули на главном сервере отправляют трафик на модули Windows через eth0
- модули на узле Windows отправляют трафик на модули Linux Visa Ethernet_FW
- поды из windows отправляют трафик в интернет через Ethernet_FW
Это вызвало сбой связи между модулями.
Мне удалось настроить узел Windows для создания виртуального коммутатора на Ethernet_LB, у которого был доступ в Интернет, и этот интерфейс (Ethernet_LB) принимал пакеты от мастера и работника Linux.
Для создания кластера я использовал этот ресурс https://kubernetes.io/docs/setup/production-environment/windows/user-guide-windows-nodes/
Мне пришлось указать правильное имя интерфейса в файле конфигурации
"InterfaceName" : "Ethernet_LB"