开启内核ipv4转发需要加载br_netfilter模块加载下该模块

前面我们介绍了 containerd 的基本使用，也了解了如何将现有 docker 容器运行时的 Kubernetes 集群切换成 containerd，接下来我们使用 kubeadm 从头搭建一个使用 containerd 作为容器运行时的 Kubernetes 集群，这里我们安装最新的 v1.22.1 版本。

环境准备

3个节点，都是 Centos 7.6 系统，内核版本:3.10.0—1062.4.1.el7.x86_64，在每个节点上添加 hosts 信息:

~cat/etc/hosts192.168.31.30master192.168.31.95node1192.168.31.215node2 节点的 hostname 必须使用标准的 DNS 命名，另外千万不用什么默认的 localhost 的 hostname，会导致各种错误出现的在 Kubernetes 项目里，机器的名字以及一切存储在 Etcd 中的 API 对象，都必须使用标准的 DNS 命名可以使用命令 hostnamectl set—hostname node1 来修改 hostname

禁用防火墙:

~systemctlstopfirewalld

禁用 SELINUX:

~setenforce0

由于开启内核 ipv4 转发需要加载 br_netfilter 模块，所以加载下该模块:

。~modprobebr_netfilter

创建/etc/sysctl.d/k8s.conf文件，添加如下内容:

net.bridge.bridge—nf—call—ip6tables=1net.bridge.bridge—nf—call—iptables=1net.ipv4.ip_forward=1

bridge—nf 使得 netfilter 可以对 Linux 网桥上的 IPv4/ARP/IPv6 包过滤比如，设置net.bridge.bridge—nf—call—iptables=1后，二层的网桥在转发包时也会被 iptables的 FORWARD 规则所过滤

net.bridge.bridge—nf—call—arptables:是否在 arptables 的 FORWARD 中过滤网桥的 ARP 包 net.bridge.bridge—nf—call—ip6tables:是否在 ip6tables 链中过滤 IPv6 包 net.bridge.bridge—nf—call—iptables:是否在 iptables 链中过滤 IPv4 包 net.bridge.bridge—nf—filter—vlan—tagged:是否在 iptables/arptables 中过滤打了 vlan 标签的包。

执行如下命令使修改生效:

。~sysctl—p/etc/sysctl.d/k8s.conf

安装 ipvs:

~catgt，/etc/sysconfig/modules/ipvs.moduleslt，上面脚本创建了的/etc/sysconfig/modules/ipvs.modules文件，保证在节点重启后能自动加载所需模块 grep —e ip_vs —e nf_conntrack_ipv4命令查看是否已经正确加载所需的内核模块

接下来还需要确保各个节点上已经安装了 ipset 软件包:

。~yuminstallipset

为了便于查看 ipvs 的代理规则，最好安装一下管理工具 ipvsadm:

。~yuminstallipvsadm

同步服务器时间

关闭 swap 分区:

。~swapoff—a

修改/etc/fstab文件，注释掉 SWAP 的自动挂载，使用free —m确认 swap 已经关闭。swappiness 参数调整，修改/etc/sysctl.d/k8s.conf添加下面一行:

vm.swappiness=0

执行 sysctl —p /etc/sysctl.d/k8s.conf 使修改生效。

安装 Containerd

我们已经了解过容器运行时 containerd 的一些基本使用，接下来在各个节点上安装 Containerd。

由于 containerd 需要调用 runc，所以我们也需要先安装 runc，不过 containerd 提供了一个包含相关依赖的压缩包 cri—containerd—cni—$VERSION.$OS—$ARCH.tar.gz，可以直接使用这个包来进行安装。首先从 release 页面下载最新版本的压缩包，当前为 1.5.5 版本:

直接将压缩包解压到系统的各个目录中:

。~tar—C/—xzfcri—containerd—cni—1.5.5—linux—amd64.tar.gz

然后要将 /usr/local/bin 和 /usr/local/sbin 追加到 ~/.bashrc 文件的 PATH 环境变量中:

exportPATH=$PATH:/usr/local/bin:/usr/local/sbin

然后执行下面的命令使其立即生效:

。~source~/.bashrc

containerd 的默认配置文件为 /etc/containerd/config.toml，我们可以通过如下所示的命令生成一个默认的配置:

~mkdir—p/etc/containerd

对于使用 systemd 作为 init system 的 Linux 的发行版，使用 systemd 作为容器的 cgroup driver 可以确保节点在资源紧张的情况更加稳定，所以推荐将 containerd 的 cgroup driver 配置为 systemd。修改前面生成的配置文件 /etc/containerd/config.toml，在 plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options 配置块下面将 SystemdCgroup 设置为 true:

...SystemdCgroup=true....

然后再为镜像仓库配置一个加速器，需要在 cri 配置块下面的 registry 配置块下面进行配置 registry.mirrors:

由于上面我们下载的 containerd 压缩包中包含一个 etc/systemd/system/containerd.service 的文件，这样我们就可以通过 systemd 来配置 containerd 作为守护进程运行了，现在我们就可以启动 containerd 了，直接执行下面的命令即可:

~systemctldaemon—reload

启动完成后就可以使用 containerd 的本地 CLI 工具 ctr 和 crictl 了，比如查看版本:

~ctrversionClient:Version:v1.5.5Revision:72cec4be58a9eb6b2910f5d10f1c01ca47d231c0Goversion:go1.16.6Server:Version:v1.5.5Revision:72cec4be58a9eb6b2910f5d10f1c01ca47d231c0UUID:cd2894ad—fd71—4ef7—a09f—5795c7eb4c3b

上面的相关环境配置也完成了，现在我们就可以来安装 Kubeadm 了，我们这里是通过指定yum 源的方式来进行安装的:

当然了，上面的 yum 源是需要科学上网的，如果不能科学上网的话，我们可以使用阿里云的源进行安装:

然后安装 kubeadm，kubelet，kubectl:

#——disableexcludes禁掉除了kubernetes之外的别的仓库~yummakecachefast~yuminstall—ykubelet—1.22.1kubeadm—1.22.1kubectl—1.22.1——disableexcludes=kubernetes

可以看到我们这里安装的是 v1.22.1 版本，然后将 master 节点的 kubelet 设置成开机启动:

。~systemctlenable——nowkubelet

到这里为止上面所有的操作都需要在所有节点执行配置。

初始化集群

当我们执行 kubelet ——help 命令的时候可以看到原来大部分命令行参数都被 DEPRECATED了，这是因为官方推荐我们使用 ——config 来指定配置文件，在配置文件中指定原来这些参数的配置，可以通过官方文档 Set Kubelet parameters via a config file 了解更多相关信息，这样 Kubernetes 就可以支持动态 Kubelet 配置了，参考 Reconfigure a Nodersquo，s Kubelet in a Live Cluster。

然后我们可以通过下面的命令在 master 节点上输出集群初始化默认使用的配置:

。~kubeadmconfigprintinit—defaults——component—configsKubeletConfigurationgt，kubeadm.yaml

然后根据我们自己的需求修改配置，比如修改 imageRepository 指定集群初始化时拉取 Kubernetes 所需镜像的地址，kube—proxy 的模式为 ipvs，另外需要注意的是我们这里是准备安装 flannel 网络插件的，需要将 networking.podSubnet 设置为10.244.0.0/16:

，在开始初始化集群之前可以使用kubeadm config images pull ——config kubeadm.yaml预先在各个服务器节点上拉取所k8s需要的容器镜像。

配置文件准备好过后，可以使用如下命令先将相关镜像 pull 下面:

上面在拉取 coredns 镜像的时候出错了，没有找到这个镜像，我们可以手动 pull 该镜像，然后重新 tag 下镜像地址即可:

然后就可以使用上面的配置文件在 master 节点上进行初始化:

根据安装提示拷贝 kubeconfig 文件:

~mkdir—p$HOME/.kube~sudocp—i/etc/kubernetes/admin.conf$HOME/.kube/config

然后可以使用 kubectl 命令查看 master 节点已经初始化成功了:

。~kubectlgetnodesNAMESTATUSROLESAGEVERSIONmasterReadycontrol—plane，master2m10sv1.22.1 添加节点

记住初始化集群上面的配置和操作要提前做好，将 master 节点上面的 $HOME/.kube/config 文件拷贝到 node 节点对应的文件中，安装 kubeadm，kubelet，kubectl，然后执行上面初始化完成后提示的 join 命令即可:

~kubeadmjoin192.168.31.30:6443——tokenabcdef.0123456789abcdefgt，——discovery—token—ca—cert—hashsha256:8c1f43da860b0e7bd9f290fe057f08cf7650b89e650ff316ce4a9cad3834475cRunningpre—flightchecksWARNING:Couldn'tcreatetheinterfaceusedfortalkingtothecontainerruntime:dockerisrequiredforcontainerruntime:exec:"docker":executablefilenotfoundin$PATHReadingconfigurationfromthecluster...FYI:Youcanlookatthisconfigfilewith'kubectl—nkube—systemgetcmkubeadm—config—oyaml'Writingkubeletconfigurationtofile"/var/lib/kubelet/config.yaml"Writingkubeletenvironmentfilewithflagstofile"/var/lib/kubelet/kubeadm—flags.env"StartingthekubeletWaitingforthekubelettoperformtheTLSBootstrap...Thisnodehasjoinedthecluster:*Certificatesigningrequestwassenttoapiserverandaresponsewasreceived.*TheKubeletwasinformedofthenewsecureconnectiondetails.Run'kubectlgetnodes'onthecontrol—planetoseethisnodejointhecluster. 如果忘记了上面的 join 命令可以使用命令 kubeadm token create ——print—join—command 重新获取

执行成功后运行 get nodes 命令:

。~kubectlgetnodesNAMESTATUSROLESAGEVERSIONmasterReadycontrol—plane，master47mv1.22.1node2NotReady46sv1.22.1

隔一会儿查看 Pod 运行状态:

~kubectlgetpods—nkube—systemNAMEREADYSTATUSRESTARTSAGEcoredns—7568f67dbd—5mg591/1Running08m32scoredns—7568f67dbd—b685t1/1Running08m31setcd—master1/1Running066mkube—apiserver—master1/1Running066mkube—controller—manager—master1/1Running066mkube—flannel—ds—dsbt61/1Running011mkube—flannel—ds—zwlm61/1Running011mkube—proxy—jq84n1/1Running066mkube—proxy—x4hbv1/1Running019mkube—scheduler—master1/1Running066m 当我们部署完网络插件后执行 ifconfig 命令，正常会看到新增的 cni0 与 flannel1 这两个虚拟设备，但是如果没有看到 cni0 这个设备也不用太担心，我们可以观察 /var/lib/cni 目录是否存在，如果不存在并不是说部署有问题，而是该节点上暂时还没有应用运行，我们只需要在该节点上运行一个 Pod 就可以看到该目录会被创建，并且 cni0 设备也会被创建出来

网络插件运行成功了，node 状态也正常了:

。~kubectlgetnodesNAMESTATUSROLESAGEVERSIONmasterReadycontrol—plane，master111mv1.22.1node2Ready64mv1.22.1

用同样的方法添加另外一个节点即可。

Dashboard

v1.22.1 版本的集群需要安装最新的 2.0+ 版本的 Dashboard:

直接创建:

。~kubectlapply—frecommended.yaml

新版本的 Dashboard 会被默认安装在 kubernetes—dashboard 这个命名空间下面:

。~kubectlgetpods—nkubernetes—dashboard—owideNAMEREADYSTATUSRESTARTSAGEIPNODENOMINATEDNODEREADINESSGATESdashboard—metrics—scraper—856586f554—pllvt1/1Running024m10.88.0.7masterkubernetes—dashboard—76597d7df5—829981/1Running021m10.88.0.2node2

我们仔细看可以发现上面的 Pod 分配的 IP 段是 10.88.xx.xx，包括前面自动安装的 CoreDNS 也是如此，我们前面不是配置的 podSubnet 为 10.244.0.0/16 吗。我们先去查看下 CNI 的配置文件:

。~ls—la/etc/cni/net.d/total8drwxr—xr—x21001docker67Aug3116:45.drwxr—xr—x.31001docker19Jul3001:13..—rw—r——r——11001docker604Jul3001:1310—containerd—net.conflist—rw—r——r——1rootroot292Aug3116:4510—flannel.conflist

可以看到里面包含两个配置，一个是 10—containerd—net.conflist，另外一个是我们上面创建的 Flannel 网络插件生成的配置，我们的需求肯定是想使用 Flannel 的这个配置，我们可以查看下 containerd 这个自带的 cni 插件配置:

。~cat/etc/cni/net.d/10—containerd—net.conflist"cniVersion":"0.4.0"，"name":"containerd—net"，"plugins":，)，"routes":("dst":"0.0.0.0/0"，"dst":"::/0")，"type":"portmap"，"capabilities":"portMappings":true)

可以看到上面的 IP 段恰好就是 10.88.0.0/16，但是这个 cni 插件类型是 bridge 网络，网桥的名称为 cni0:

。~ipa...6:cni0:lt，BROADCAST，MULTICAST，PROMISC，UP，LOWER_UPgt，mtu1500qdiscnoqueuestateUPgroupdefaultqlen1000link/ether9a:e7:eb:40:e8:66brdff:ff:ff:ff:ff:ffinet10.88.0.1/16brd10.88.255.255scopeglobalcni0valid_lftforeverpreferred_lftforeverinet62001:4860:4860::1/64scopeglobalvalid_lftforeverpreferred_lftforeverinet6fe80::98e7:ebff:fe40:e866/64scopelinkvalid_lftforeverpreferred_lftforever...

但是使用 bridge 网络的容器无法跨多个宿主机进行通信，跨主机通信需要借助其他的 cni 插件，比如上面我们安装的 Flannel，或者 Calico 等等，由于我们这里有两个 cni 配置，所以我们需要将 10—containerd—net.conflist 这个配置删除，因为如果这个目录中有多个 cni 配置文件，kubelet 将会使用按文件名的字典顺序排列的第一个作为配置文件，所以前面默认选择使用的是 containerd—net 这个插件。

~mv/etc/cni/net.d/10—containerd—net.conflist/etc/cni/net.d/10—containerd—net.conflist.bak~ifconfigcni0downamp，amp，iplinkdeletecni0~systemctldaemon—reload

然后记得重建 coredns 和 dashboard 的 Pod，重建后 Pod 的 IP 地址就正常了:

~kubectlgetpods—nkubernetes—dashboard—owideNAMEREADYSTATUSRESTARTSAGEIPNODENOMINATEDNODEREADINESSGATESdashboard—metrics—scraper—856586f554—tp8m51/1Running042s10.244.1.6node2kubernetes—dashboard—76597d7df5—9rmbx1/1Running066s10.244.1.5node2

查看 Dashboard 的 NodePort 端口:

。~kubectlgetsvc—nkubernetes—dashboardNAMETYPECLUSTER—IPEXTERNAL—IPPORT(S)AGEdashboard—metrics—scraperClusterIP10.99.37.1728000/TCP25mkubernetes—dashboardNodePort10.103.102.27443:31050/TCP25m

信任证书

信任后就可以访问到 Dashboard 的登录页面了:

然后创建一个具有全局所有权限的用户来登录 Dashboard:(admin.yaml)

kind:ClusterRoleBindingapiVersion:rbac.authorization.k8s.io/v1metadata:name:adminroleRef:kind:ClusterRolename:cluster—adminapiGroup:rbac.authorization.k8s.iosubjects:—kind:ServiceAccountname:adminnamespace:kubernetes—dashboardapiVersion:v1kind:ServiceAccountmetadata:name:adminnamespace:kubernetes—dashboard

直接创建:

~kubectlapply—fadmin.yamlgrepadmin—tokenadmin—token—lwmmxkubernetes.io/service—account—token31d

然后用上面的 base64 解码后的字符串作为 token 登录 Dashboard 即可，新版本还新增了一个暗黑模式:

最终我们就完成了使用 kubeadm 搭建 v1.22.1 版本的 kubernetes 集群，coredns，ipvs，flannel，containerd。

。~kubectlgetnodes—owideNAMESTATUSROLESAGEVERSIONINTERNAL—IPEXTERNAL—IPOS—IMAGEKERNEL—VERSIONCONTAINER—RUNTIMEmasterReadycontrol—plane，master36mv1.22.1192.168.31.30CentOSLinux7(Core)3.10.0—1160.25.1.el7.x86_64containerd://1.5.5node2Ready27mv1.22.1192.168.31.215CentOSLinux7(Core)3.10.0—1160.25.1.el7.x86_64containerd://1.5.5 清理

如果你的集群安装过程中遇到了其他问题，我们可以使用下面的命令来进行重置:

~kubeadmreset~ifconfigcni0downamp，amp，iplinkdeletecni0~ifconfigflannel.1downamp，amp，iplinkdeleteflannel.1