Назад | Перейти на главную страницу

Связь между узлами не работает в Kubernetes с Calico

Я новичок в Kubernetes, даже если мне не кажется, что после того, как я провел десятки часов, пытаясь настроить рабочий Kubernetes.

Параметры края:

1 мастер и 3 узла
настроить с помощью kubeadm
kubernetes версии 1.12.1, Calico 3.2
Первичные IP-адреса хостов 192.168.1.0/21x (актуально, потому что это конфликтует с подсетью модуля по умолчанию, поэтому я установил --pod-network-cidr=10.10.0.0/16)

Установка с использованием kubeadm init и присоединение сработало до сих пор. Все поды работают, только coredns вылетает, но здесь это не актуально.

Установка Calico

Затем я, начиная с установка с помощью хранилища данных etcd и установка с хранилищем данных api kubernetes 50 узлов или меньше

kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/rbac.yaml

curl https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/calico.yaml -O
# modify calico.yaml  # Here, I feel a lack of documentation: Which etcd is needed? The one of kubernetes or a new one? See below
kubectl apply -f calico.yaml

kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml

curl https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml -O
# modify calico.yaml (here, I have to change the range of CALICO_IPV4POOL_CIDR)
sed -i 's/192.168.0.0/10.10.0.0/' calico.yaml
kubectl apply -f calico.yaml

Тест

Теперь для тестирования я использую следующее определение:

apiVersion: v1
kind: Pod
metadata:
  name: www1
  labels:
    service:      testwww
spec:
  containers:
  - name: meinserver
    image: erkules/nginxhostname
    ports:
    - containerPort: 80
---
apiVersion: v1
kind: Pod
metadata:
  name: www2
  labels:
    service:      testwww
spec:
  containers:
  - name: meinserver
    image: erkules/nginxhostname
---
kind: Service
apiVersion: v1
metadata:
  name: www-np
spec:
  type: NodePort
  selector:
    service: testwww
  ports:
  - name: http1
    protocol: TCP
    nodePort: 30333
    port: 8080
    targetPort: 80

Как я тестирую:

curl http://192.168.1.211:30333  # master, no success
curl http://192.168.1.212:30333  # node, no success
curl http://192.168.1.213:30333  # node, only works 50%, with www1 (which is on this node)
curl http://192.168.1.214:30333  # node, only works 50%, with www2 (which is on this node)

Вышеупомянутые команды работают только в том случае, если (случайно выбранный) модуль находится на узле, которому принадлежит указанный IP-адрес. Я ожидал 100% успеха на всех узлах.

Я добился большего успеха при использовании etcd-сервера Kubernetes (pod / etcd-master1). В этом случае все вышеперечисленные команды работали. Но в этом случае контроллеры pod / calico-kube не запускались, потому что они работали на рабочем узле и, следовательно, не имели доступа к etcd.

в руководство по началу работы, Нашел инструкцию по установке лишнего etcd:

kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/etcd.yaml

Это странно: эта строчка есть только в "начиная", но не в"монтаж". Но по умолчанию calico.yaml уже содержит правильный clusterIp именно этого сервера etcd (кстати, как этот IP статический? Он генерируется хешем?). В любом случае: с этим все узлы Calico работали без ошибок, но У меня было описанное поведение, при котором не все NodePorts работали.Я также забочусь о etcd, который открыт для всех, а это не то, что я хочу.

Итак, вот основные вопросы:

Какой сервер etcd использовать? Отдельный или Kubernetes?
- Если это должен быть Kubernetes, почему контроллеры pod / calico-kube по умолчанию не настроены для работы на главном сервере, у которого есть доступ к etcd?
- Если я должен использовать собственный etcd для ситца, почему он не задокументирован в разделе «установка», почему у меня возникают эти проблемы с NodePort?

Кстати: я был ответом, который рекомендовал изменить правило по умолчанию iptables с DROP на ACCEPT. Но это уродливый взлом, и он, вероятно, обходит все функции безопасности Calico.

Запрошенные детали (вариант с доп. Etcd)

$ kubectl get all --all-namespaces=true -o wide; kubectl get nodes -o wide
NAMESPACE     NAME                                          READY   STATUS             RESTARTS   AGE   IP                NODE      NOMINATED NODE
default       pod/www1                                      1/1     Running            0          8s    192.168.104.9     node2     <none>
default       pod/www2                                      1/1     Running            0          8s    192.168.166.136   node1     <none>
kube-system   pod/calico-etcd-46g2q                         1/1     Running            0          22m   192.168.1.211     master1   <none>
kube-system   pod/calico-kube-controllers-f4dcbf48b-88795   1/1     Running            10         23h   192.168.1.212     node0     <none>
kube-system   pod/calico-node-956lj                         2/2     Running            6          21h   192.168.1.213     node1     <none>
kube-system   pod/calico-node-mhtvg                         2/2     Running            5          21h   192.168.1.211     master1   <none>
kube-system   pod/calico-node-s9njn                         2/2     Running            6          21h   192.168.1.214     node2     <none>
kube-system   pod/calico-node-wjqlk                         2/2     Running            6          21h   192.168.1.212     node0     <none>
kube-system   pod/coredns-576cbf47c7-4tcx6                  0/1     CrashLoopBackOff   15         24h   192.168.137.86    master1   <none>
kube-system   pod/coredns-576cbf47c7-hjpgv                  0/1     CrashLoopBackOff   15         24h   192.168.137.85    master1   <none>
kube-system   pod/etcd-master1                              1/1     Running            17         24h   192.168.1.211     master1   <none>
kube-system   pod/kube-apiserver-master1                    1/1     Running            2          24h   192.168.1.211     master1   <none>
kube-system   pod/kube-controller-manager-master1           1/1     Running            3          24h   192.168.1.211     master1   <none>
kube-system   pod/kube-proxy-22mb9                          1/1     Running            2          23h   192.168.1.212     node0     <none>
kube-system   pod/kube-proxy-96tn7                          1/1     Running            2          23h   192.168.1.213     node1     <none>
kube-system   pod/kube-proxy-vb4pq                          1/1     Running            2          24h   192.168.1.211     master1   <none>
kube-system   pod/kube-proxy-vq7qj                          1/1     Running            2          23h   192.168.1.214     node2     <none>
kube-system   pod/kube-scheduler-master1                    1/1     Running            2          24h   192.168.1.211     master1   <none>
kube-system   pod/kubernetes-dashboard-77fd78f978-h8czs     1/1     Running            2          23h   192.168.180.9     node0     <none>

NAMESPACE     NAME                           TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE   SELECTOR
default       service/kubernetes             ClusterIP   10.96.0.1        <none>        443/TCP          24h   <none>
default       service/www-np                 NodePort    10.99.149.53     <none>        8080:30333/TCP   8s    service=testwww
kube-system   service/calico-etcd            ClusterIP   10.96.232.136    <none>        6666/TCP         21h   k8s-app=calico-etcd
kube-system   service/calico-typha           ClusterIP   10.105.199.162   <none>        5473/TCP         23h   k8s-app=calico-typha
kube-system   service/kube-dns               ClusterIP   10.96.0.10       <none>        53/UDP,53/TCP    24h   k8s-app=kube-dns
kube-system   service/kubernetes-dashboard   ClusterIP   10.96.235.235    <none>        443/TCP          23h   k8s-app=kubernetes-dashboard

NAMESPACE     NAME                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                     AGE   CONTAINERS                IMAGES                                                 SELECTOR
kube-system   daemonset.apps/calico-etcd   1         1         1       1            1           node-role.kubernetes.io/master=   21h   calico-etcd               quay.io/coreos/etcd:v3.3.9                             k8s-app=calico-etcd
kube-system   daemonset.apps/calico-node   4         4         4       4            4           beta.kubernetes.io/os=linux       23h   calico-node,install-cni   quay.io/calico/node:v3.2.3,quay.io/calico/cni:v3.2.3   k8s-app=calico-node
kube-system   daemonset.apps/kube-proxy    4         4         4       4            4           <none>                            24h   kube-proxy                k8s.gcr.io/kube-proxy:v1.12.1                          k8s-app=kube-proxy

NAMESPACE     NAME                                      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS                IMAGES                                          SELECTOR
kube-system   deployment.apps/calico-kube-controllers   1         1         1            1           23h   calico-kube-controllers   quay.io/calico/kube-controllers:v3.2.3          k8s-app=calico-kube-controllers
kube-system   deployment.apps/calico-typha              0         0         0            0           23h   calico-typha              quay.io/calico/typha:v3.2.3                     k8s-app=calico-typha
kube-system   deployment.apps/coredns                   2         2         2            0           24h   coredns                   k8s.gcr.io/coredns:1.2.2                        k8s-app=kube-dns
kube-system   deployment.apps/kubernetes-dashboard      1         1         1            1           23h   kubernetes-dashboard      k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0   k8s-app=kubernetes-dashboard

NAMESPACE     NAME                                                DESIRED   CURRENT   READY   AGE   CONTAINERS                IMAGES                                          SELECTOR
kube-system   replicaset.apps/calico-kube-controllers-f4dcbf48b   1         1         1       23h   calico-kube-controllers   quay.io/calico/kube-controllers:v3.2.3          k8s-app=calico-kube-controllers,pod-template-hash=f4dcbf48b
kube-system   replicaset.apps/calico-typha-5f646c475c             0         0         0       23h   calico-typha              quay.io/calico/typha:v3.2.3                     k8s-app=calico-typha,pod-template-hash=5f646c475c
kube-system   replicaset.apps/coredns-576cbf47c7                  2         2         0       24h   coredns                   k8s.gcr.io/coredns:1.2.2                        k8s-app=kube-dns,pod-template-hash=576cbf47c7
kube-system   replicaset.apps/kubernetes-dashboard-77fd78f978     1         1         1       23h   kubernetes-dashboard      k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.0   k8s-app=kubernetes-dashboard,pod-template-hash=77fd78f978

NAME      STATUS   ROLES    AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
master1   Ready    master   24h   v1.12.0   192.168.1.211   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node0     Ready    <none>   23h   v1.12.0   192.168.1.212   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node1     Ready    <none>   23h   v1.12.0   192.168.1.213   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node2     Ready    <none>   23h   v1.12.0   192.168.1.214   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce

$ for i in $(seq 20); do timeout 1 curl -so/dev/null http://192.168.1.214:30333 && echo -n x || echo -n -  ;done
x---x-x-x--x-xx-x---

Запрошенные данные (вариант с существующим etcd)

$ kubectl get all --all-namespaces=true -o wide; kubectl get nodes -o wide
NAMESPACE     NAME                                          READY   STATUS                       RESTARTS   AGE     IP              NODE      NOMINATED NODE
default       pod/www1                                      1/1     Running                      0          9m27s   10.10.2.3       node1     <none>
default       pod/www2                                      1/1     Running                      0          9m27s   10.10.3.3       node2     <none>
kube-system   pod/calico-kube-controllers-f4dcbf48b-qrqnc   0/1     CreateContainerConfigError   1          18m     192.168.1.212   node0     <none>
kube-system   pod/calico-node-j8cwr                         2/2     Running                      2          17m     192.168.1.212   node0     <none>
kube-system   pod/calico-node-qtq9m                         2/2     Running                      2          17m     192.168.1.214   node2     <none>
kube-system   pod/calico-node-qvf6w                         2/2     Running                      2          17m     192.168.1.211   master1   <none>
kube-system   pod/calico-node-rdt7k                         2/2     Running                      2          17m     192.168.1.213   node1     <none>
kube-system   pod/coredns-576cbf47c7-6l9wz                  1/1     Running                      2          21m     10.10.0.11      master1   <none>
kube-system   pod/coredns-576cbf47c7-86pxp                  1/1     Running                      2          21m     10.10.0.10      master1   <none>
kube-system   pod/etcd-master1                              1/1     Running                      19         20m     192.168.1.211   master1   <none>
kube-system   pod/kube-apiserver-master1                    1/1     Running                      2          20m     192.168.1.211   master1   <none>
kube-system   pod/kube-controller-manager-master1           1/1     Running                      1          20m     192.168.1.211   master1   <none>
kube-system   pod/kube-proxy-28qct                          1/1     Running                      1          20m     192.168.1.212   node0     <none>
kube-system   pod/kube-proxy-8ltpd                          1/1     Running                      1          21m     192.168.1.211   master1   <none>
kube-system   pod/kube-proxy-g9wmn                          1/1     Running                      1          20m     192.168.1.213   node1     <none>
kube-system   pod/kube-proxy-qlsxc                          1/1     Running                      1          20m     192.168.1.214   node2     <none>
kube-system   pod/kube-scheduler-master1                    1/1     Running                      5          19m     192.168.1.211   master1   <none>

NAMESPACE     NAME                   TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)          AGE     SELECTOR
default       service/kubernetes     ClusterIP   10.96.0.1      <none>        443/TCP          21m     <none>
default       service/www-np         NodePort    10.106.27.58   <none>        8080:30333/TCP   9m27s   service=testwww
kube-system   service/calico-typha   ClusterIP   10.99.14.62    <none>        5473/TCP         17m     k8s-app=calico-typha
kube-system   service/kube-dns       ClusterIP   10.96.0.10     <none>        53/UDP,53/TCP    21m     k8s-app=kube-dns

NAMESPACE     NAME                         DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                 AGE   CONTAINERS                IMAGES                                                 SELECTOR
kube-system   daemonset.apps/calico-node   4         4         4       4            4           beta.kubernetes.io/os=linux   18m   calico-node,install-cni   quay.io/calico/node:v3.2.3,quay.io/calico/cni:v3.2.3   k8s-app=calico-node
kube-system   daemonset.apps/kube-proxy    4         4         4       4            4           <none>                        21m   kube-proxy                k8s.gcr.io/kube-proxy:v1.12.1                          k8s-app=kube-proxy

NAMESPACE     NAME                                      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS                IMAGES                                   SELECTOR
kube-system   deployment.apps/calico-kube-controllers   1         1         1            0           18m   calico-kube-controllers   quay.io/calico/kube-controllers:v3.2.3   k8s-app=calico-kube-controllers
kube-system   deployment.apps/calico-typha              0         0         0            0           17m   calico-typha              quay.io/calico/typha:v3.2.3              k8s-app=calico-typha
kube-system   deployment.apps/coredns                   2         2         2            2           21m   coredns                   k8s.gcr.io/coredns:1.2.2                 k8s-app=kube-dns

NAMESPACE     NAME                                                DESIRED   CURRENT   READY   AGE   CONTAINERS                IMAGES                                   SELECTOR
kube-system   replicaset.apps/calico-kube-controllers-f4dcbf48b   1         1         0       18m   calico-kube-controllers   quay.io/calico/kube-controllers:v3.2.3   k8s-app=calico-kube-controllers,pod-template-hash=f4dcbf48b
kube-system   replicaset.apps/calico-typha-5f646c475c             0         0         0       17m   calico-typha              quay.io/calico/typha:v3.2.3              k8s-app=calico-typha,pod-template-hash=5f646c475c
kube-system   replicaset.apps/coredns-576cbf47c7                  2         2         2       21m   coredns                   k8s.gcr.io/coredns:1.2.2                 k8s-app=kube-dns,pod-template-hash=576cbf47c7

NAME      STATUS   ROLES    AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
master1   Ready    master   21m   v1.12.0   192.168.1.211   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node0     Ready    <none>   20m   v1.12.0   192.168.1.212   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node1     Ready    <none>   20m   v1.12.0   192.168.1.213   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node2     Ready    <none>   20m   v1.12.0   192.168.1.214   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce

$ for i in $(seq 20); do timeout 1 curl -so/dev/null http://192.168.1.214:30333 && echo -n x || echo -n -  ;done
xxxxxxxxxxxxxxxxxxxx

Обновление: вариант с фланелью

Я только что попробовал с фланелью: результат на удивление такой же, как и с дополнительным etcd (модули отвечают только на том же узле). Это подводит меня к вопросу: есть ли что-нибудь о моей ОС? Ubuntu 18.04 с последними обновлениями, установленными с помощью debootstrap. Нет брандмауэра ...

Как я его установил:

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

Результат:

$ kubectl get all --all-namespaces=true -o wide; kubectl get nodes -o wide
NAMESPACE     NAME                                  READY   STATUS    RESTARTS   AGE     IP              NODE      NOMINATED NODE
default       pod/www1                              1/1     Running   0          3m40s   10.10.2.2       node1     <none>
default       pod/www2                              1/1     Running   0          3m40s   10.10.3.2       node2     <none>
kube-system   pod/coredns-576cbf47c7-64wxp          1/1     Running   3          21m     10.10.1.3       node0     <none>
kube-system   pod/coredns-576cbf47c7-7zvqs          1/1     Running   3          21m     10.10.1.2       node0     <none>
kube-system   pod/etcd-master1                      1/1     Running   0          21m     192.168.1.211   master1   <none>
kube-system   pod/kube-apiserver-master1            1/1     Running   0          20m     192.168.1.211   master1   <none>
kube-system   pod/kube-controller-manager-master1   1/1     Running   0          21m     192.168.1.211   master1   <none>
kube-system   pod/kube-flannel-ds-amd64-brnmq       1/1     Running   0          8m22s   192.168.1.214   node2     <none>
kube-system   pod/kube-flannel-ds-amd64-c6v67       1/1     Running   0          8m22s   192.168.1.213   node1     <none>
kube-system   pod/kube-flannel-ds-amd64-gchmv       1/1     Running   0          8m22s   192.168.1.211   master1   <none>
kube-system   pod/kube-flannel-ds-amd64-l9mpl       1/1     Running   0          8m22s   192.168.1.212   node0     <none>
kube-system   pod/kube-proxy-5pmtc                  1/1     Running   0          21m     192.168.1.213   node1     <none>
kube-system   pod/kube-proxy-7ctp5                  1/1     Running   0          21m     192.168.1.212   node0     <none>
kube-system   pod/kube-proxy-9zfhl                  1/1     Running   0          21m     192.168.1.214   node2     <none>
kube-system   pod/kube-proxy-hcs4g                  1/1     Running   0          21m     192.168.1.211   master1   <none>
kube-system   pod/kube-scheduler-master1            1/1     Running   0          20m     192.168.1.211   master1   <none>

NAMESPACE     NAME                 TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE     SELECTOR
default       service/kubernetes   ClusterIP   10.96.0.1        <none>        443/TCP          22m     <none>
default       service/www-np       NodePort    10.101.213.118   <none>        8080:30333/TCP   3m40s   service=testwww
kube-system   service/kube-dns     ClusterIP   10.96.0.10       <none>        53/UDP,53/TCP    22m     k8s-app=kube-dns

NAMESPACE     NAME                                     DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                     AGE     CONTAINERS     IMAGES                                   SELECTOR
kube-system   daemonset.apps/kube-flannel-ds-amd64     4         4         4       4            4           beta.kubernetes.io/arch=amd64     8m22s   kube-flannel   quay.io/coreos/flannel:v0.10.0-amd64     app=flannel,tier=node
kube-system   daemonset.apps/kube-flannel-ds-arm       0         0         0       0            0           beta.kubernetes.io/arch=arm       8m22s   kube-flannel   quay.io/coreos/flannel:v0.10.0-arm       app=flannel,tier=node
kube-system   daemonset.apps/kube-flannel-ds-arm64     0         0         0       0            0           beta.kubernetes.io/arch=arm64     8m22s   kube-flannel   quay.io/coreos/flannel:v0.10.0-arm64     app=flannel,tier=node
kube-system   daemonset.apps/kube-flannel-ds-ppc64le   0         0         0       0            0           beta.kubernetes.io/arch=ppc64le   8m21s   kube-flannel   quay.io/coreos/flannel:v0.10.0-ppc64le   app=flannel,tier=node
kube-system   daemonset.apps/kube-flannel-ds-s390x     0         0         0       0            0           beta.kubernetes.io/arch=s390x     8m21s   kube-flannel   quay.io/coreos/flannel:v0.10.0-s390x     app=flannel,tier=node
kube-system   daemonset.apps/kube-proxy                4         4         4       4            4           <none>                            22m     kube-proxy     k8s.gcr.io/kube-proxy:v1.12.1            k8s-app=kube-proxy

NAMESPACE     NAME                      DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS   IMAGES                     SELECTOR
kube-system   deployment.apps/coredns   2         2         2            2           22m   coredns      k8s.gcr.io/coredns:1.2.2   k8s-app=kube-dns

NAMESPACE     NAME                                 DESIRED   CURRENT   READY   AGE   CONTAINERS   IMAGES                     SELECTOR
kube-system   replicaset.apps/coredns-576cbf47c7   2         2         2       21m   coredns      k8s.gcr.io/coredns:1.2.2   k8s-app=kube-dns,pod-template-hash=576cbf47c7
NAME      STATUS   ROLES    AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
master1   Ready    master   22m   v1.12.1   192.168.1.211   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node0     Ready    <none>   21m   v1.12.1   192.168.1.212   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node1     Ready    <none>   21m   v1.12.1   192.168.1.213   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce
node2     Ready    <none>   21m   v1.12.1   192.168.1.214   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://17.12.1-ce

$ for i in $(seq 20); do timeout 1 curl -so/dev/null http://192.168.1.214:30333 && echo -n x || echo -n -  ;done
-x--xxxxx-x-x---xxxx

kubernetes calico

Пока что я обнаружил 3 проблемы:

версия докера

В своих первых попытках я использовал docker.io из репозиториев Ubuntu по умолчанию (17.12.1-ce). В учебнике https://computingforgeeks.com/how-to-setup-3-node-kubernetes-cluster-on-ubuntu-18-04-with-weave-net-cni/, Я обнаружил, что они рекомендуют что-то другое:

apt-get --purge remove docker docker-engine docker.io
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
apt-get update
apt-get install docker-ce

Теперь это версия 18.6.1, и она также больше не вызывает предупреждений при предполетной проверке kubeadm.

уборка

я использовал kubeadm reset и удаление некоторых каталогов при сбросе моих виртуальных машин в ненастроенное состояние. Прочитав несколько отчетов об ошибках, я решил расширить список удаляемых каталогов. Вот чем я сейчас занимаюсь:

kubeadm reset
rm -rf /var/lib/cni/ /var/lib/calico/ /var/lib/kubelet/ /var/lib/etcd/ /etc/kubernetes/ /etc/cni/
reboot

Настройка ситца

С внесенными выше изменениями я сразу же смог запустить полнофункциональную настройку (все модули «Запускаются» и curl работают). Я сделал "Вариант с доп. Etcd".

Все это работало до первой перезагрузки, потом снова у меня был

calico-kube-controllers-f4dcbf48b-qrqnc CreateContainerConfigError

Углубление в эту проблему показало мне.

$ kubectl -n kube-system describe pod/calico-kube-controllers-f4dcbf48b-dp6n9
Events:
  Type     Reason            Age                     From               Message
  ----     ------            ----                    ----               -------
  Warning  Failed            4m32s (x10 over 9m)     kubelet, node1     Error: Couldn't find key etcd_endpoints in ConfigMap kube-system/calico-config

Затем я понял, что последовательно выполнил две инструкции по установке, которые должны были выполнить только одну.

kubectl apply -f https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/rbac-kdd.yaml

curl https://docs.projectcalico.org/v3.2/getting-started/kubernetes/installation/hosted/kubernetes-datastore/calico-networking/1.7/calico.yaml -O

cp -p calico.yaml calico.yaml_orig
sed -i 's/192.168.0.0/10.10.0.0/' calico.yaml

kubectl apply -f calico.yaml

Результат

$ kubectl get pod,svc,nodes --all-namespaces -owide

NAMESPACE     NAME                                        READY   STATUS    RESTARTS   AGE   IP              NODE      NOMINATED NODE
default       pod/www1                                    1/1     Running   2          71m   10.10.3.4       node1     <none>
default       pod/www2                                    1/1     Running   2          71m   10.10.4.4       node2     <none>
kube-system   pod/calico-node-45sjp                       2/2     Running   4          74m   192.168.1.213   node1     <none>
kube-system   pod/calico-node-bprml                       2/2     Running   4          74m   192.168.1.211   master1   <none>
kube-system   pod/calico-node-hqdsd                       2/2     Running   4          74m   192.168.1.212   master2   <none>
kube-system   pod/calico-node-p8fgq                       2/2     Running   4          74m   192.168.1.214   node2     <none>
kube-system   pod/coredns-576cbf47c7-f2l7l                1/1     Running   2          84m   10.10.2.7       master2   <none>
kube-system   pod/coredns-576cbf47c7-frq5x                1/1     Running   2          84m   10.10.2.6       master2   <none>
kube-system   pod/etcd-master1                            1/1     Running   2          83m   192.168.1.211   master1   <none>
kube-system   pod/kube-apiserver-master1                  1/1     Running   2          83m   192.168.1.211   master1   <none>
kube-system   pod/kube-controller-manager-master1         1/1     Running   2          83m   192.168.1.211   master1   <none>
kube-system   pod/kube-proxy-9jmsk                        1/1     Running   2          80m   192.168.1.213   node1     <none>
kube-system   pod/kube-proxy-gtzvz                        1/1     Running   2          80m   192.168.1.214   node2     <none>
kube-system   pod/kube-proxy-str87                        1/1     Running   2          84m   192.168.1.211   master1   <none>
kube-system   pod/kube-proxy-tps6d                        1/1     Running   2          80m   192.168.1.212   master2   <none>
kube-system   pod/kube-scheduler-master1                  1/1     Running   2          83m   192.168.1.211   master1   <none>
kube-system   pod/kubernetes-dashboard-77fd78f978-9vdqz   1/1     Running   0          24m   10.10.3.5       node1     <none>

NAMESPACE     NAME                           TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE   SELECTOR
default       service/kubernetes             ClusterIP   10.96.0.1        <none>        443/TCP          84m   <none>
default       service/www-np                 NodePort    10.107.205.119   <none>        8080:30333/TCP   71m   service=testwww
kube-system   service/calico-typha           ClusterIP   10.99.187.161    <none>        5473/TCP         74m   k8s-app=calico-typha
kube-system   service/kube-dns               ClusterIP   10.96.0.10       <none>        53/UDP,53/TCP    84m   k8s-app=kube-dns
kube-system   service/kubernetes-dashboard   ClusterIP   10.96.168.213    <none>        443/TCP          24m   k8s-app=kubernetes-dashboard

NAMESPACE   NAME           STATUS   ROLES    AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE           KERNEL-VERSION      CONTAINER-RUNTIME
            node/master1   Ready    master   84m   v1.12.1   192.168.1.211   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://18.6.1
            node/master2   Ready    <none>   80m   v1.12.1   192.168.1.212   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://18.6.1
            node/node1     Ready    <none>   80m   v1.12.1   192.168.1.213   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://18.6.1
            node/node2     Ready    <none>   80m   v1.12.1   192.168.1.214   <none>        Ubuntu 18.04 LTS   4.15.0-20-generic   docker://18.6.1


192.168.1.211 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
192.168.1.212 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
192.168.1.213 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
192.168.1.214 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Может быть, вы не установили kubernetes-cni пакет? Если ни один сетевой провайдер не работает, это очень вероятно. AFAIK также не упоминается в документации, что вам нужно это сделать.

Также должно быть видно в kubelet журнал обслуживания.