k8s集群网络(10)-flannel vxlan overlay网络setup---TA码字

在上一篇文章里我们对基于iptable和ipvs模式下cluster ip类型的service和node port类型的service做了总结和对比，在这里我们主要介绍flannel overlay网络setup，以便后面分析pod到pod的通讯过程。对于flannel overlay网络有vxlan 方式和udp方式，这里我们介绍vxlan 方式的setup。对于vxlan 是一种overlay网路技术，意在利用在三层网络之上构建二层网络。对于二层网络一般我们采用vlan技术来隔离，不过vlan在数据包里总共4个字节，有12bit用来标识不同的二层网络，这样总共可以有4000多个vlan。而vxlan header有8个字节，有24bit用来标识不同的二层网络，这样总共是1600多万个vxlan。更多关于vxlan可以参考https://tools.ietf.org/html/rfc7348

对于flannel vxlan overlay网络我们需要把以前文章setup的docker，flannel，kubelet，kube-proxy，kube-apiserver，kube-scheduler，kube-controller-manager服务停掉，然后在以前文章中安装的etcd里进行配置。

修改etcd配置：

"Backend": {"Type":"vxlan"}==>表示为vxlan类型网络"VNI": 1==>表示vxlan的网络id为1"Port ": 8472==>表示vxlan的vtep端点udp端口为8472(vxlan利用udp封包) etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key set /cloudnetwork/config '{ "Network": "10.1.0.0/16", "SubnetLen": 24, "Backend": {"Type":"vxlan"}, "VNI": 1, "Port ": 8472}' etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/config

启动所有节点的flannel service并查看网络生成情况：

systemctl start flanneld systemctl status flanneld etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key ls /cloudnetwork/subnets etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.82.0-24 etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.55.0-24 etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.74.0-24

我们发现：

在node 172.20.11.41上生成子网10.1.82.0/24在node 172.20.11.42上生成子网10.1.55.0/24在node 172.20.11.43上生成子网10.1.74.0/24

在3个node上分别check子网和docker网络配置文件：

ip addr|grep 41 etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.82.0-24 cat /var/run/flannel/docker ip addr|grep 42 etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.55.0-24 cat /var/run/flannel/docker ip addr|grep 43 etcdctl --ca-file /etc/etcd/ca.crt --cert-file /etc/etcd/etcd-client.crt --key-file /etc/etcd/etcd-client.key get /cloudnetwork/subnets/10.1.74.0-24 cat /var/run/flannel/docker

这里我们发现数据包的最大传输单元mtu(Maximum Transmission Unit)为1450，不是一般的1500。是因为vxlan是利用udp包的payload封装了二层eth包，所以导致最大传输单元mtu变小了。

启动所有worker node docker服务：

systemctl start docker systemctl status docker

启动所有worker node kubelet服务：

systemctl start kubelet systemctl status kubelet

启动所有worker node kube-proxy服务：

systemctl start kube-proxy systemctl status kube-proxy

启动master node kube-apiserver服务：

systemctl start kube-apiserver systemctl status kube-apiserver

启动master node kube-scheduler服务：

systemctl start kube-scheduler systemctl status kube-scheduler

启动master node kube-controller-manager服务：

systemctl start kube-controller-manager systemctl status kube-controller-manager

打开所有worker node 8472 udp port ：

firewall-cmd --permanent --zone=public --add-port=8472/udp firewall-cmd --reload firewall-cmd --list-all

vxlan利用udp封包，根据上面etcd中的配置，udp使用8472端口接收数据，所以需要在所有的worker node上打开8472 udp port 。

检查以前部署的pod处于ready状态：

kubectl get pods -o wide --all-namespaces

目前先写到这里，下一篇文章里我们继续介绍k8s集群flannel vxlan overlay网络下pod到pod的通讯过程。

---来自腾讯云社区的---TA码字