银河麒麟高级服务器操作系统V10SP3-2403部署 Kubernetes 1.33.7+containerd + Calico 完整实战
环境说明:本文基于银河麒麟高级服务器操作系统 V10 SP3 2403(x86_64)搭建 Kubernetes 集群,部署规模为 1 master + 1 node。
组件版本:
- Kubernetes:v1.33.7
- containerd:containerd.io 1.6.33
- CNI:Calico v3.25.0
说明:文中的 IP、主机名、token 均为实验环境信息,生产环境请按实际规划调整。
一、引言
1. 文档概述
Kubernetes,简称 K8s,是用 8 代替 8 个字符“kubernete”而成的缩写。它是一个开源的、用于管理云平台中多个主机上的容器化应用系统。Kubernetes 的目标是让部署容器化应用简单且高效,并提供应用部署、规划、更新、维护的一种机制。
经常有需求要搭建 K8s 集群,本手册基于银河麒麟高级服务器操作系统 V10 SP3 2403(x86)搭建 K8s 集群,部署规模为 1 master + 1 node。
2. 适用范围
本手册面向具有 Linux 操作系统使用经验的用户及相关技术人员等。
二、部署前准备工作
1. 环境准备
硬件环境
| 项目 | 说明 |
|---|---|
| 系统安装方式 | UKUI GUI + 右侧全选 |
| CPU | Hygon Dhyana Processor |
| 内存 | 8G |
| 磁盘 | 100GB |
| 网络 | 互联网 |
| 数量 | 2 台 |
软件环境
| 项目 | 说明 |
|---|---|
| 银河麒麟高级服务器操作系统 | V10 SP3 2403 Build20/20240426 |
| Kubernetes | v1.33.7 |
| 运行时 | containerd.io-1.6.33-3.1.el7 |
| CNI 插件 | Calico v3.25.0 |
2. 获取配置源
额外准备 2 个 yum 源。
(1)配置 docker-ce 源
cat /etc/yum.repos.d/docker-ce.repo
[docker-ce-stable]
name=Docker CE Stable - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-stable-debuginfo]
name=Docker CE Stable - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-stable-source]
name=Docker CE Stable - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-test]
name=Docker CE Test - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-test-debuginfo]
name=Docker CE Test - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-test-source]
name=Docker CE Test - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-nightly]
name=Docker CE Nightly - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-nightly-debuginfo]
name=Docker CE Nightly - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
[docker-ce-nightly-source]
name=Docker CE Nightly - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg
(2)配置 Kubernetes 源
cat /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.33/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.33/rpm/repodata/repomd.xml.key
3. 获取部署包
下载 Calico 镜像包:
获取以下 3 个镜像包:
cni.tarkube-controllers.tarnode.tar
注意:百度网盘链接可能失效,建议将镜像包提前下载到本地或内部制品库。
三、部署步骤
1. 系统配置
准备 2 台服务器部署 K8s,可以是物理服务器也可以是虚拟机。本手册使用 2 台虚拟机搭建集群,先安装操作系统(文档不演示),再完成以下系统配置。
| 角色 | 主机名 | IP |
|---|---|---|
| 控制节点 | master | 192.168.122.188 |
| 工作节点 | node | 192.168.122.189 |
(1)修改各主机的主机名
hostnamectl set-hostname master # 控制节点
hostnamectl set-hostname node # 工作节点
(2)修改各主机的 /etc/hosts 文件
vim /etc/hosts
192.168.122.188 master
192.168.122.189 node
(3)关闭防火墙
systemctl disable --now firewalld.service
systemctl status firewalld.service
(4)关闭 SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
getenforce
(5)禁用 swap 分区
vim /etc/fstab
将 swap 这行禁用,然后执行:
mount -a
swapoff -a
(6)开启端口转发与网桥流量过滤规则
新建 /etc/sysctl.d/k8s.conf 文件,在文件末尾添加如下内容:
vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
新建 /etc/modules-load.d/k8s.conf 文件,添加以下内容:
vim /etc/modules-load.d/k8s.conf
overlay
br_netfilter
执行命令让其生效:
modprobe overlay
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf
注意:如果出现报错,需要先加载模块
br_netfilter,再使内核参数生效。
(7)拷贝 yum 源
将前面准备的 2 个 yum 源拷贝到各节点 /etc/yum.repos.d/ 目录。
ls /etc/yum.repos.d/
2. 安装运行时
(1)安装 containerd 运行时
yum remove -y docker-runc # 先卸载麒麟的 runc 工具
yum install -y containerd.io # 安装 containerd 运行时
systemctl enable --now containerd.service # 设置服务开机自启动
systemctl status containerd.service # 查看服务状态
containerd -v
(2)调整运行时最大文件数
将运行时的最大文件数改成 1048576(默认 1073741816)。
sed -i 's/LimitNOFILE=infinity/LimitNOFILE=1048576/' /usr/lib/systemd/system/containerd.service
systemctl daemon-reload
systemctl restart containerd.service
cat /proc/$(systemctl status containerd.service | grep PID | awk '{print $3}')/limits | grep "open files"
(3)生成 containerd 默认配置文件
containerd config default | sudo tee /etc/containerd/config.toml
给 containerd 运行时配置镜像加速地址,将 sandbox_image 行改成:
registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.10
检查并重启:
grep sandbox_image /etc/containerd/config.toml
systemctl restart containerd.service
(4)配置 crictl 文件
yum install cri-tools -y
tee /etc/crictl.yaml >/dev/null <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
EOF
用 crictl images 查看是否生效:
crictl images
3. 安装 K8s 组件
(1)安装 kubelet、kubeadm、kubectl
yum install -y kubelet kubeadm kubectl
systemctl enable --now kubelet
kubelet --help | grep infra
注意:此时 kubelet 缺少证书,处于无法启动状态,待集群初始化完成后可恢复正常。
(2)初始化集群(只在 master 节点执行)
kubeadm init \
--image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--control-plane-endpoint=192.168.122.188:6443 \
--upload-certs
当出现以下标识,表明集群初始化成功:
Your Kubernetes control-plane has initialized successfully!
若初始化失败,先清理集群信息,检查错误后再重新初始化:
kubeadm reset # 清理集群
(3)添加集群访问鉴权
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
此时 kubelet 服务已恢复正常:
systemctl status kubelet
检查集群初始化完成,但节点处于 NotReady 状态,这是缺少 CNI 插件导致的。本环境使用 Calico v3.25 插件。
kubectl get nodes
kubectl get pods -A
4. 安装 CNI 插件
(1)下载 calico.yaml 配置
wget https://docs.projectcalico.org/v3.25/manifests/calico.yaml
上传前面获取的 Calico 部署包到 master 节点:
ls x86/
(2)导入 cni.tar、kube-controllers.tar、node.tar 三个镜像包
ctr -n k8s.io images import cni.tar
ctr -n k8s.io images import kube-controllers.tar
ctr -n k8s.io images import node.tar
crictl images
(3)安装 CNI 插件
kubectl apply -f calico.yaml
检查 Calico 组件状态:
kubectl get pods -A
kubectl get nodes
Calico 相关组件已经 Running,master 节点恢复 Ready 状态。
5. 添加 node 节点
在 node 节点执行 join 命令,将节点加入 K8s 集群。
建议在 master 节点重新生成 join 命令,避免使用文档中固定的过期 token:
kubeadm token create --print-join-command
在 node 节点执行生成的 join 命令,格式类似:
kubeadm join 192.168.122.188:6443 \
--token <token> \
--discovery-token-ca-cert-hash sha256:<hash>
添加完成后,待 Calico 等组件调度完成,查看节点状态:
kubectl get nodes -o wide
四、附录:排错提示
-
sysctl -p报bridge-nf-call-ip6tables不存在先加载
br_netfilter模块:modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf -
初始化完成后节点显示 NotReady
这是正常现象,通常是缺少 CNI 插件。安装 Calico 后,节点会恢复 Ready。
-
kubeadm join提示 token 过期在 master 节点重新生成:
kubeadm token create --print-join-command -
版本一致性检查
本文使用 Kubernetes v1.33.7,安装完成后可通过以下命令确认:
kubectl get nodes kubeadm version kubelet --version containerd -v
如果这篇文章对你有帮助,欢迎点赞、收藏、评论交流。部署过程中如果遇到问题,可以把报错信息贴到评论区。
openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构
更多推荐

所有评论(0)