k8s集群搭建及对一些组件的简单理解（二）

背景#

我之前写过一篇文章《搭建K8S集群并轻松理解一些组件（一）》。本文主要提供一些组件的背景和理解。

今天我们要讲的是正式安装需要网络环境。稍后我们将讨论没有外部网络的纯内网环境。

k8s集群节点、组件#

控制平面节点通常部署以下组件：etcd、apiserver、kube-scheduler、kube-controller-manager。这些组件是面向用户的，因此它们通过kubectl 或UI 接收并响应用户请求。

收到请求后，这些组件开始处理该请求。当用户想要运行Pod 时，这些组件会寻找合适的节点来部署Pod。因此，它通常被认为是实际运行用户Pod 的节点。数据平面节点。

有关这些概念的信息，请参阅Kubernetes 组件| Kubernetes。

虽然控制平面中的组件理论上可以分布到任何节点，但安装脚本通常会选择将这些组件安装在同一台机器上并在这些机器上运行用户pod 以实现高可用性。它还安装在多台机器上。因此，这些机器可以称为控制平面节点。

从上图中可以看到，控制平面节点仅包含api-server/etcd/kube-scheduler 等组件。此外，控制平面不会强制用户Pod 不运行。使用kubeadm 构建集群。控制平面节点通常包括控制平面组件和数据平面节点组件，例如kubelet、kube-proxy 和容器运行时。

下面是我使用kubeadm 构建控制平面节点后编译的图。

六个pod（四个绿色部分：etcd、api-server、scheduler、control-manager，两个灰色部分：coredns、kube-proxy），这些pod 可以理解为六个后台进程。

systemctl 管理的三个服务：

/usr/lib/systemd/system/kubelet.service

/usr/lib/systemd/system/cri-docker.service

/usr/lib/systemd/system/docker.service

这三个服务也可以理解为三个后台进程，但是它们并不是以pod容器模式运行的。

这三个服务还提供了三个可用于隐藏目的的二进制文件：kubelet、cri-docker 和dokcer。

2 cli：kubectl和kubeadm，这两个不是后台进程，它们只是简单的cli客户端。

当我第一次安装它时，我有点困惑，因为我面对着近10 个进程和几个名称相似的CLI。随着尝试了几次，我逐渐了解了，正式开始安装。

我们的机器配置：

Virtualbox 创建了两个干净的虚拟机。他们没有安装任何东西，但有一个外部网络。

10.0.2.8 节点4，准备充当主节点

10.0.2.9 node5，准备用作工作节点

操作系统是centos 7.9。

容器运行时#

参考文件：

容器运行时|

这里我们选择docker。如果有时间的话，我也会学习其他的东西。

前置条件#

IP转发

该文档指出，Linux 上默认没有开启IP 转发，而且k8s 的很多网络插件都需要这个功能，所以必须开启。

默认情况下，Linux 内核不允许IPv4 数据包在接口之间路由。大多数Kubernetes 集群网络实现都会更改此设置（如有必要）。

复制

# 设置需要sysctl params。 params 在重新启动后仍然存在。 cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.ipv4.ip_forward=1 EOF # 应用sysctl 参数而不重新启动。 sudo sysctl –system 1 设置：sysctl net.ipv4.ip_forward

cgroup驱动程序

容器运行时|

Linux 使用控制组来限制进程可以使用的资源。当kubelet 和容器运行时，您必须处理控制组来管理pod 和容器资源并限制CPU、内存和其他可用资源。你不是直接寻址控制组，而是通过控制组驱动程序，可以将其理解为驱动程序。确保容器运行时和kubelet 使用相同的cgroup 驱动程序非常重要。

目前有两个cgroup 驱动程序：cgroupfs 和systemd。

cgroupfs是kubelet的默认驱动，fs代表文件系统，是用户控制资源的文件系统接口。

默认目录是/sys/fs/cgroup。在我们的系统中：

复制

[root@node4 ~]# ll /sys/fs/cgroup 总计0 drwxr-xr-x。2 root root 0 Jun 23 12:53 blkio lrwxrwxrwx。1 root root 11 Jun 23 12:53 cpu – cpu,cpuacct lrwxrwxrwx。中央处理器帐户- cpu,cpuacct drwxr-xr-x 2 root root 0 6 月23 日12:53 cpu,cpuacct 2 root root 0 6 月23 日12:53 cpuset drwxr-xr-x。 12:53 设备drwxr-xr-x 2 root root 0 6 月23 日12:53 冰箱drwxr-xr-x 2 root root 0 6 月23 日12:53 humetlb 2 root root 0 6 月23 日12:53 内存lrwxrwxrwx。 1 root root 1 6 月23 日12:53 net_cls – net_cls,net_prio drwxr-xr-x 2 root root 0 6 月23 日12:53 net_cls,net_prio lrwxrwxrwx 1 root root 6 月23 日16 12:53 net_prio – net_cls,net_prio drwxr -xr -x.2 路线0 jun23 12:53 perf_event drwxr-xr-x。 2 root root 0 Jun 23 12:53 pids 4 root root 0 Jun 23 12:53 systemd。

所以，简单来说，这个驱动程序通过直接操作这个目录中的文件来与内核中的控制组进行交互。例如，如果您在此处创建一个组并为特定进程添加PID，则这些PID 将受该组的资源限制设置的约束。

但是，在systemd 管理的系统上（例如centos 7 主要由systemd 管理），不建议使用此cgroupfs 驱动程序。

这是因为在这种系统中，systemd为每个单元配置了一个控制组，例如：

将CPUQuota与systemd一起使用- Thinbug

复制

[Unit] Description=虚拟分布式以太网[Service] ExecStart=/usr/bin/ddcommand CPUQuota=10% [Install] WantedBy=multi-user.target

此处，CPUQuota 将可用CPU 限制为10%。

有关systemd 资源限制，请检查man systemd.resource-control。

因此，这个systemd系统必须统一使用cgroup驱动systemd。

稍后将解释设置方法。

docker 安装#

我使用yum进行安装，但是后面搭建内网k8s需要保存rpm包，所以我下载了rpm包然后手动安装。

参考文档：https://docs.docker.com/engine/install/centos/

在安装yum之前，必须先安装docker yum存储库。否则，如果你直接安装yum，你最终可能会得到一个非常旧的版本。例如，对于centos 7.9：

复制

[root@node4 ~]# yum info docker 可用包名称： docker Arch : x86_64 Epoch : 2 版本： 1.13.1 发布： 210.git7d71120.el7.centos 大小： 17 M 存储库： extras/7/x86_6 4

这是1.13.1，从2017 年开始：https://docs.docker.com/engine/release-notes/prior-releases/

后来改为17.03等格式（最初称为YY.MM格式，现在不太兼容）。一些最新版本是23.0/24.0/25.0/26.0。最新的是26.1。

因此，要安装新版本，首先获取docker yum 存储库。

复制

官方是这样的，但是它阻止了我： sudo yum install -y yum-utils sudo yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.repo 然后，创建一个镜像。如果您使用云服务器，您可以查找自己的云供应商提供的Docker 镜像。使用wget -O /etc/yum.repos.d/docker 某些映像通常会更快。 -ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

下载rpm包。

复制

[root@node4 ~]# mkdir /root/docker-package [root@node4 ~]# cd /root/docker-package/[root@node4 docker-package]# yumdownloader –resolve –destdir=.docker-ce我没有安装docker-ce-clicontainerd.io docker-buildx-plugin docker-compose-plugin ，所以我认为暂时不会有用。 下载完成后，显示[root@node4 docker-package]# ll Total 118488 -rw-r–r– 1 root root 78256 Aug 23 2019 Audit-libs-python-2.8.5-4.el7 。x86_64 .rpm -rw-r–r–。1 个根根302068 2018 年11 月12 日checkpolicy-2.5-8.el7.x86_64.rpm -rw-r–r– 1 个根根37045876 6 月21 日18:38.io -1.6.33-3.1.el7.x86_64.rpm.

使用rpm包安装。

复制

rpm -ivh *.rpm

安装后，将有多个由systemd 管理的单元。

复制

cd /usr/lib/systemd/system ll -rw-r–r– 1 root root 1264 六月5 日16:36containerd.service -rw-r–r– 1 root root 295 六月5 日19:31 docker.socket – rw – r–r– 1 root root 1962年6月5日19:31 docker.service

接下来，设置Docker 配置文件（如果不存在，则创建一个新配置文件）。

复制

[root@app1 ~]# vim /etc/docker/daemon.json { \’exec-opts\’: [\’native.cgroupdriver=systemd\’], \’log-driver\’: \’json-file\’, \’log-opts\’第：章

基本上，如果您需要配置私有服务器和镜像，则需要修改此文件。例如，添加以下行，但暂时不要添加。

复制

\’注册表镜像\’: [\’http://10.0.218.xxx:8083\’]，\’不安全注册表\’: [\’http://10.0.218.xxx:8083\’]

启动服务。

复制

systemctl start docker systemctl status docker 启动：systemctl 启用docker 检查cgroup 驱动是否为systemd： [root@app1 cri-docker]# docker info|grep group Cgroup Driver: systemd Cgroup Version: 1

检查是否可以拉动它。

复制

如果拉不下来[root@node4 docker-package]，也可以查看日志。 Journalctl -u docker : 实时查看。日志ctl -u docker -f

嗯，不。这是因为当您运行docker pull 时，您需要访问网站https://production.cloudflare.docker.com。

如果你不学互联网技术，只能使用官方仓库，docker.io的国内镜像仓库。

我首先看了一些网上整理的镜像网站。

docker.iomirror.ccs.tencentyun.com 仅在腾讯云vpc 内访问，registry2 proxydocker.nju.edu.cn 南京大学开源镜像站，nexus3docker.mirrors.sjtug.sjtu.edu.cn 上海交通大学，registry2 proxydocker是的.m. daocloud.io 在中国可用，但带宽较低*****.mirror.aliyuncs.com 在中国可用，但更新速度慢

除了倒数第二个以外，除了腾讯是内部使用的（云服务器上可用）外，其他都无法使用。 （当前时间20240623）。

复制

docker pull docker.m.daocloud.io/hello-world [root@node4 docker-package]# docker 镜像仓库tag 镜像ID 创建大小docker.m.daocloud.io/hello-world 最新d2c94e258dcb 13 个月前13.3kB

另外，我们可以关注Docker提供的外部接口：域UNIX套接字。

复制

[root@node4 docker-package]# netstat -nlp |grep docker unix 2 [ACC] 流监听40562 1/systemd /run/docker.sock

cri-docker 安装#

栗子卡

cri-docker 由Docker 和Mirantis（Docker 商业化公司）共同维护，实现了k8s 的CRI 接口，并适配CRI 接口来转换和响应对Docker 的调用。

最简单的安装方法是安装rpm包并从https://github.com/Mirantis/cri-dockerd/releases下载。

这里下载的文件是cri-dockerd-0.3.14-3.el7.x86_64.rpm。

复制

cd /root/upload 上传rpm rpm -ivh cri-dockerd-0.3.14-3.el7.x86_64.rpm

安装后，将提供以下服务：

复制

查看/usr/lib/systemd/system/cri-docker.service的内容。主要命令为：ExecStart=/usr/bin/cri-dockerd –container-runtime-endpoint fd://

显示帮助：

复制

看一下/usr/bin/cri-dockerd -h 因为它有很多选项。 例如，你可以在这里指定docker的socket的地址。 –docker-endpoint string 使用它与docker 端点进行通信（默认为\’unix:///var/run/docker.sock\’）。 Pod 内基本容器的图像坐标： –pod-infra-container-image string 每个Pod 容器使用的网络/ipc 命名空间的图像（默认为“registry.k8s.io/pause:3.9”）

开始：

复制

[root@node4 upload]# systemctl start cri-docker [root@node4 upload]# systemctl status cri-docker

要侦听的端口是/run/cri-dockerd.sock 或/var/run/cri-dockerd.sock，两者都指向同一文件。

复制

[root@node4 upload]# netstat -nlxp|grep cri unix 2 [ACC] 流监听68693 1/systemd /run/cri-dockerd.sock

日志查看：

复制

Journalctl -u cri-docker

kubelet安装#

安装Kubeadm |

前置#

安装Kubeadm |

关闭SeLinux。

复制

sudo setenforce 0 sudo sed -i \’s/^SELINUX=enforcing$/SELINUX=permissive/\’ /etc/selinux/config

完成交换：

复制

sudo vi /etc/fstab 注释掉以下行： # /dev/mapper/centos-swap swap 交换默认值0 0 [root@app1 ~]# sudo swapoff -a 检查： [root@app1 ~]# free -h

安装kubelet#

复制

cat EOF | sudo tee /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetesbaseurl=https://pkgs.k8s.io/core:/stable:/v1.30/rpm/enabled=1 gpgcheck=1 gpgkey=https://pkgs 。 k8s.io/core:/stable:/v1.30/rpm/repodata/repomd.xml.key 排除=kubelet kubeadm kubectl cri-tools kubernetes-cni EOF

接下来，先安装kubelet。

复制

rpm 安装： mkdir /root/kubelet-kubeadm cd /root/kubelet-kubeadm yumdownloader –resolve –destdir=. kubelet –disableexcludes=kubernetes rpm -ivh *.rpm 对于直接安装： yum install kubelet –disableexcludes=kubernetes

可以看到它依赖于kubernetes-cni 包。

复制

/usr/lib/systemd/system/kubelet.service systemctl status kubelet cd /usr/lib/systemd/system/[root@node4 system]# ll kubelet* -rw-r–r– 1 root root 278 Jun 12 05:15 kubelet.service

看看如果你现在开始，你能做什么。

复制

systemctl start kubelet systemctl 启用kubelet systemctl status 启动kubelet 失败。 查看日志：journalctl -u kubelet

您可以看到我们现在处于独立模式。这种模式允许kubelet 在没有API 服务器的情况下独立管理pod。您可以搜索一下详细信息。

安装kubeadm#

复制

rpm 安装： cd /root/kubeadm yumdownloader –resolve –destdir=. kubeadm –disableexcludes=kubernetes rpm -ivh

*.rpm 如果直接装就是： yum install kubeadm –disableexcludes=kubernetes 发现其会依赖cri-tools

对kubelet的影响#

安装完成后，我们再去看kubelet的service目录下：

Copy

cd /usr/lib/systemd/system/ [root@node4 system]# ll kubelet* -rw-r–r–. 1 root root 278 Jun 12 05:15 kubelet.service kubelet.service.d: total 4 -rw-r–r–. 1 root root 900 Jun 12 05:14 10-kubeadm.conf

发现多了个目录，目录下还有配置文件10-kubeadm.conf. 这个配置文件其实就是给kubelet指定了些配置，比如后续怎么去连接api-server（就不在是standalone模式了）、以及指定了一些kubelet自身的配置项

另外，也可以查看下kubelet的选项，非常多：

Copy

[root@node4 system]# /usr/bin/kubelet -h

kubeadm的流程#

此时，其实就可以准备创建集群了。语法很简单：

Copy

kubeadm init –pod-network-cidr=192.168.0.0/16 –cri-socket unix:///var/run/cri-dockerd.sock –kubernetes-version v1.30.1 –v=5

具体选项可以看：

Copy

kubeadm init -h

我们指定的选项的意思：

Copy

–pod-network-cidr，这个是部分cni插件需要指定，我们选的是calico，去calico官网查看文档，发现其默认需要这么指定：192.168.0.0/16，意思就是pod的ip的网段 –cri-socket，这个是因为我们机器上，既有cri-docker，又有containerd，两个cri实现，必须手动指定一个。 –kubernetes-version v1.30.1，联网环境下可以不指定，就是指定k8s的版本；离线环境下指定了就不用去联网发请求 –v，日志级别

但，实际这样还不够，k8s的控制面组件不是有好几个pod吗，pod内容器的镜像，是维护在registry.k8s.io这个仓库下的。

我们直接去拉取镜像会失败：

Copy

[root@node4 system]# docker pull registry.k8s.io/kube-apiserver:v1.30.1 Error response from daemon: Head \”https://asia-east1-docker.pkg.dev/v2/k8s-artifacts-prod/images/kube-apiserver/manifests/v1.30.1\”: dial tcp: lookup asia-east1-docker.pkg.dev on 10.0.2.1:53: no such host

这些网址是由Google团队提供的，被q了。

所以，我们只能找找registry.k8s.io的镜像仓库，我这边用的registry-k8s-io.mirrors.sjtug.sjtu.edu.cn。

因此，最后命令是：

Copy

kubeadm init –image-repository registry-k8s-io.mirrors.sjtug.sjtu.edu.cn –pod-network-cidr=192.168.0.0/16 –cri-socket unix:///var/run/cri-dockerd.sock –kubernetes-version v1.30.1 –v=5

另外，我们加上–dry-run，先试着跑一下，但是，我建议，还是先提前拉取好镜像，再来跑这个好一点：

Copy

kubeadm init –image-repository registry-k8s-io.mirrors.sjtug.sjtu.edu.cn –pod-network-cidr=192.168.0.0/16 –cri-socket unix:///var/run/cri-dockerd.sock –kubernetes-version v1.30.1 –v=5 –dry-run

为啥呢，因为k8s这几个组件的镜像大小有大几百兆，所以界面会一直卡在这里，不知道后台到底怎么样了，是卡死了还是怎么了。

我们如果要提前拉取镜像，先得知道要拉取哪些镜像：

Copy

[root@node4 system]# kubeadm config images list registry.k8s.io/kube-apiserver:v1.30.2 registry.k8s.io/kube-controller-manager:v1.30.2 registry.k8s.io/kube-scheduler:v1.30.2 registry.k8s.io/kube-proxy:v1.30.2 registry.k8s.io/coredns/coredns:v1.11.1 registry.k8s.io/pause:3.9 registry.k8s.io/etcd:3.5.12-0

然后，转换为：

Copy

docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/kube-apiserver:v1.30.2 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/kube-controller-manager:v1.30.2 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/kube-scheduler:v1.30.2 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/kube-proxy:v1.30.2 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/coredns/coredns:v1.11.1 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/pause:3.9 docker pull registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/etcd:3.5.12-0

docker images，确保镜像都存在了，再次运行：

发现会卡在一个拉取coreDns的地方，

Copy

pulling: registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/coredns:v1.11.1

这个主要是两个仓库的标签打得有点不一样，我们就把我们已经存在的镜像，重新打个tag：

Copy

docker tag registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/coredns/coredns:v1.11.1 registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/coredns:v1.11.1

结果再次运行，发现还是卡：

Copy

[api-check] Waiting for a healthy API server. This can take up to 4m0s

检查了几个服务的日志，发现docker日志显示还在拉取：

Copy

… registry.k8s.io/pause from https://registry.k8s.io

后面查了下，是因为就是我们忽略了一句kubeadm打印的提示：

Copy

W0623 16:26:12.928077 22235 checks.go:844] detected that the sandbox image \”registry.k8s.io/pause:3.9\” of the container runtime is inconsistent with that used by kubeadm.It is recommended to use \”registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/pause:3.9\” as the CRI sandbox image.

我们在cri-docker那里，需要修改下镜像坐标。

Copy

ExecStart=/usr/bin/cri-dockerd –container-runtime-endpoint fd:// –pod-infra-container-image registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/pause:3.9

Copy

systemctl daemon-reload systemctl restart cri-docker

再次执行，又说一堆东西已经存在了。我们可以先reset下：

Copy

kubeadm reset -f –cri-socket unix:///var/run/cri-dockerd.sock

这次基本就能成功了，把最下面的命令存下来：

Copy

Your Kubernetes control-plane has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config Alternatively, if you are the root user, you can run: export KUBECONFIG=/etc/kubernetes/admin.conf You should now deploy a pod network to the cluster. Run \”kubectl apply -f [podnetwork].yaml\” with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ Then you can join any number of worker nodes by running the following on each as root: kubeadm join 10.0.2.x:6443 –token k3nmtk.kx1k6cbxbsuaqysd \\ –discovery-token-ca-cert-hash sha256:9659ceb5bf342b1a9fa1ef1888a3ce26a1f9c881dbbf4bbadcbb62d5dcde37dd

安装kubectl#

这个东西是啥呢，只是个cli，客户端工具，给我们用的，就像redis-cli和mysql命令行客户端一样，主要是和控制面组件中的api-server进行交互。

事实上，各个容器厂商都是做一套界面出来给用户用的，也是直接对接api-server。

这里我们安装下。

Copy

rpm安装： cd /root/kubelet-kubeadm yumdownloader –resolve –destdir=. kubectl –disableexcludes=kubernetes rpm -ivh *.rpm 如果直接装就是： yum install kubectl –disableexcludes=kubernetes

然后执行下：

Copy

[root@node4 system]# kubectl get pods -A E0623 16:40:18.035470 25920 memcache.go:265] couldn\’t get current server API group list: Get \”http://localhost:8080/api?timeout=32s\”: dial tcp [::1]:8080: connect: connection refused

因为还需要指定api-server的地址：

Copy

mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config

再来：

Copy

[root@node4 system]# kubectl get pods -A NAMESPACE NAME READY STATUS RESTARTS AGE kube-system coredns-86c4446b65-6sr2p 0/1 Pending 0 7m13s kube-system coredns-86c4446b65-n4xcl 0/1 Pending 0 7m13s kube-system etcd-node4 1/1 Running 0 7m28s kube-system kube-apiserver-node4 1/1 Running 0 7m28s kube-system kube-controller-manager-node4 1/1 Running 0 7m28s kube-system kube-proxy-rxxc9 1/1 Running 0 7m13s kube-system kube-scheduler-node4 1/1 Running 0 7m28s

可以发现，coreDns这两个pod是pending状态。看一下这个pod的状态：发现是说没有可用的ready的node。

Copy

[root@node4 system]# kubectl get nodes -A NAME STATUS ROLES AGE VERSION node4 NotReady control-plane 13m v1.30.2

我们的node确实是NotReady。

Copy

[root@node4 system]# kubectl describe node node4 … Ready False Sun, 23 Jun 2024 16:43:43 +0800 Sun, 23 Jun 2024 16:33:18 +0800 KubeletNotReady container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

里面可以看到，是因为cni网络插件尚未ready的原因。

安装网络插件calico#

网络插件有好多种，主流用的也有好几种，各种的差别后面我们再讲，其中呢，calico算是一款优秀的网络插件。

Quickstart for Calico on Kubernetes | Calico Documentation

安装operator#

Copy

wget https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/tigera-operator.yaml 执行： k create -f tigera-operator.yaml 执行完后，会新增一个pod： [root@node4 calico-install]# kubectl get pods -A |grep tigera tigera-operator tigera-operator-5ddc799ffd-fqsps 0/1 ContainerCreating 0 49s

这里又涉及到拉取镜像，这次的镜像是在：

Copy

[root@node4 calico-install]# grep image tigera-operator.yaml |grep quay image: quay.io/tigera/operator:v1.34.0

还好，这个quay.io/tigera/operator:v1.34.0直接网络可以拉取。。不需要镜像

运行网络插件相关pod#

Quickstart for Calico on Kubernetes | Calico Documentation

Copy

wget https://raw.githubusercontent.com/projectcalico/calico/v3.28.0/manifests/custom-resources.yaml // 这个动作又要拉取镜像，有大几百兆 kubectl create -f custom-resources.yaml

我在我以前成功的机器上看了下，拉取了这些（版本不一定和最新一样）：

Copy

[root@app1 ~]# docker images |grep calico calico/typha v3.28.0 a9372c0f51b5 71.1MB calico/kube-controllers v3.28.0 428d92b02253 79.1MB calico/apiserver v3.28.0 6c07591fd1cf 97.9MB calico/cni v3.28.0 107014d9f4c8 209MB calico/node-driver-registrar v3.28.0 0f80feca743f 23.5MB calico/csi v3.28.0 1a094aeaf152 18.3MB calico/pod2daemon-flexvol v3.28.0 587b28ecfc62 13.4MB calico/node v3.28.0 4e42b6f329bc 353MB

我看了下docker日志，发现又跑去docker.io这个官方仓库拉取calico镜像去了，这尼玛。还是得配个镜像仓库啊。

Copy

vim /etc/docker/daemon.json { \”exec-opts\”: [\”native.cgroupdriver=systemd\”], \”log-driver\”: \”json-file\”, \”log-opts\”: { \”max-size\”: \”100m\” }, \”debug\”: true, \”registry-mirrors\”: [\”https://docker.m.daocloud.io\”] }

只要镜像下下来了，就没问题了，等一会，pod就会就绪，coreDns也会就绪：

worker节点安装#

10.0.2.9 node5

容器运行时#

参照主节点，全都需要执行。

rpm包我们scp拷贝过去。

Copy

scp * 10.0.2.9:/root/docker-package

Copy

scp /etc/docker/daemon.json 10.0.2.9:/etc/docker/daemon.json

Copy

systemctl start docker systemctl status docker systemctl enable docker

cri-docker安装#

参照主节点。

记得修改service文件：

Copy

/usr/lib/systemd/system/cri-docker.service 加参数： –pod-infra-container-image registry-k8s-io.mirrors.sjtug.sjtu.edu.cn/pause:3.9 systemctl start cri-docker systemctl status cri-docker systemctl enable cri-docker

kubelet安装#

Copy

直接装，或者拿主节点的rpm来装： yum install kubelet –disableexcludes=kubernetes

Copy

systemctl start kubelet systemctl enable kubelet

kubeadm安装#

Copy

直接装，或者拿主节点的rpm来装： yum install kubeadm –disableexcludes=kubernetes

拷贝并加载镜像#

从主节点中，执行：

Copy

[root@node4 docker-package]# docker save -o calico_images.tar $(docker images –format \”{{.Repository}}:{{.Tag}}\” | grep \”^calico\”) [root@node4 docker-package]# docker save -o pause.tar $(docker images –format \”{{.Repository}}:{{.Tag}}\” | grep \”pause\”) [root@node4 docker-package]# docker save -o kube-proxy.tar $(docker images –format \”{{.Repository}}:{{.Tag}}\” | grep \”kube-proxy\”) [root@node4 docker-package]# scp calico_images.tar pause.tar kube-proxy.tar 10.0.2.9:/root/images-for-load

在worker节点上：

Copy

cd /root/images-for-load docker load < kube-proxy.tar docker load < calico_images.tar docker load < pause.tar docker images

join集群#

找出之前存下来的join语句：

Copy

kubeadm join 10.0.2.8:6443 –token k3nmtk.kx1k6cbxbsuaqysd \\ –discovery-token-ca-cert-hash sha256:9659ceb5bf342b1a9fa1ef1888a3ce26a1f9c881dbbf4bbadcbb62d5dcde37dd –cri-socket unix:///var/run/cri-dockerd.sock –v=5

注意，worker节点不能执行kubectl是正常的，因为一般是在控制节点上执行kubectl。当然，如果有需要，也可以像主节点那样操作，弄一下就行了。

测试#

我这边在主节点上：

Copy

kubectl create deploy www-nginx-demo –image nginx –replicas=2

如果发现调度到了两台机器上，等nginx镜像拉取完成后（在主、工作节点都要拉取），可以看到pod状态变成正常。

在主节点上，直接访问pod：

在工作节点上，直接访问pod：

容器到容器的网络也是通的，只是容器内太简单了，缺少ping这些基础的工具，以后再说说这块。

总结#

后续再讲下完全没有网络的环境中的安装吧，也算是给自己备忘了。

博客分类导航贴：博客目录导航，让我们一起学起来吧（持续更新）

我是逐日, 前华为、前鹅厂大头兵，现在成都小公司躺平，可以关注我公号，想起来了就更新；或者右下角有个加号，咱们博客园见
#以上关于k8s集群搭建及对一些组件的简单理解（二）的相关内容来源网络仅供参考，相关信息请以官方公告为准！