环境说明:本文基于银河麒麟高级服务器操作系统 V10 SP3 2403(x86_64)搭建 Kubernetes 集群,部署规模为 1 master + 1 node

组件版本:

  • Kubernetes:v1.33.7
  • containerd:containerd.io 1.6.33
  • CNI:Calico v3.25.0

说明:文中的 IP、主机名、token 均为实验环境信息,生产环境请按实际规划调整。

一、引言

1. 文档概述

Kubernetes,简称 K8s,是用 8 代替 8 个字符“kubernete”而成的缩写。它是一个开源的、用于管理云平台中多个主机上的容器化应用系统。Kubernetes 的目标是让部署容器化应用简单且高效,并提供应用部署、规划、更新、维护的一种机制。

经常有需求要搭建 K8s 集群,本手册基于银河麒麟高级服务器操作系统 V10 SP3 2403(x86)搭建 K8s 集群,部署规模为 1 master + 1 node。

2. 适用范围

本手册面向具有 Linux 操作系统使用经验的用户及相关技术人员等。

二、部署前准备工作

1. 环境准备

硬件环境
项目说明
系统安装方式UKUI GUI + 右侧全选
CPUHygon Dhyana Processor
内存8G
磁盘100GB
网络互联网
数量2 台
软件环境
项目说明
银河麒麟高级服务器操作系统V10 SP3 2403 Build20/20240426
Kubernetesv1.33.7
运行时containerd.io-1.6.33-3.1.el7
CNI 插件Calico v3.25.0

2. 获取配置源

额外准备 2 个 yum 源。

(1)配置 docker-ce 源

cat /etc/yum.repos.d/docker-ce.repo
[docker-ce-stable]
name=Docker CE Stable - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable
enabled=1
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-stable-debuginfo]
name=Docker CE Stable - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-stable-source]
name=Docker CE Stable - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/stable
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-test]
name=Docker CE Test - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-test-debuginfo]
name=Docker CE Test - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-test-source]
name=Docker CE Test - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/test
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-nightly]
name=Docker CE Nightly - $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-nightly-debuginfo]
name=Docker CE Nightly - Debuginfo $basearch
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

[docker-ce-nightly-source]
name=Docker CE Nightly - Sources
baseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/source/nightly
enabled=0
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpg

(2)配置 Kubernetes 源

cat /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://pkgs.k8s.io/core:/stable:/v1.33/rpm/
enabled=1
gpgcheck=1
gpgkey=https://pkgs.k8s.io/core:/stable:/v1.33/rpm/repodata/repomd.xml.key

3. 获取部署包

下载 Calico 镜像包:

获取以下 3 个镜像包:

  • cni.tar
  • kube-controllers.tar
  • node.tar

注意:百度网盘链接可能失效,建议将镜像包提前下载到本地或内部制品库。

三、部署步骤

1. 系统配置

准备 2 台服务器部署 K8s,可以是物理服务器也可以是虚拟机。本手册使用 2 台虚拟机搭建集群,先安装操作系统(文档不演示),再完成以下系统配置。

角色主机名IP
控制节点master192.168.122.188
工作节点node192.168.122.189

(1)修改各主机的主机名

hostnamectl set-hostname master      # 控制节点
hostnamectl set-hostname node        # 工作节点

(2)修改各主机的 /etc/hosts 文件

vim /etc/hosts
192.168.122.188 master
192.168.122.189 node

(3)关闭防火墙

systemctl disable --now firewalld.service
systemctl status firewalld.service

(4)关闭 SELinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
getenforce

(5)禁用 swap 分区

vim /etc/fstab

将 swap 这行禁用,然后执行:

mount -a
swapoff -a

(6)开启端口转发与网桥流量过滤规则

新建 /etc/sysctl.d/k8s.conf 文件,在文件末尾添加如下内容:

vim /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

新建 /etc/modules-load.d/k8s.conf 文件,添加以下内容:

vim /etc/modules-load.d/k8s.conf
overlay
br_netfilter

执行命令让其生效:

modprobe overlay
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

注意:如果出现报错,需要先加载模块 br_netfilter,再使内核参数生效。

(7)拷贝 yum 源

将前面准备的 2 个 yum 源拷贝到各节点 /etc/yum.repos.d/ 目录。

ls /etc/yum.repos.d/

2. 安装运行时

(1)安装 containerd 运行时

yum remove -y docker-runc                 # 先卸载麒麟的 runc 工具
yum install -y containerd.io              # 安装 containerd 运行时
systemctl enable --now containerd.service # 设置服务开机自启动
systemctl status containerd.service       # 查看服务状态
containerd -v

(2)调整运行时最大文件数

将运行时的最大文件数改成 1048576(默认 1073741816)。

sed -i 's/LimitNOFILE=infinity/LimitNOFILE=1048576/' /usr/lib/systemd/system/containerd.service
systemctl daemon-reload
systemctl restart containerd.service
cat /proc/$(systemctl status containerd.service | grep PID | awk '{print $3}')/limits | grep "open files"

(3)生成 containerd 默认配置文件

containerd config default | sudo tee /etc/containerd/config.toml

给 containerd 运行时配置镜像加速地址,将 sandbox_image 行改成:

registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.10

检查并重启:

grep sandbox_image /etc/containerd/config.toml
systemctl restart containerd.service

(4)配置 crictl 文件

yum install cri-tools -y
tee /etc/crictl.yaml >/dev/null <<EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
EOF

crictl images 查看是否生效:

crictl images

3. 安装 K8s 组件

(1)安装 kubelet、kubeadm、kubectl

yum install -y kubelet kubeadm kubectl
systemctl enable --now kubelet
kubelet --help | grep infra

注意:此时 kubelet 缺少证书,处于无法启动状态,待集群初始化完成后可恢复正常。

(2)初始化集群(只在 master 节点执行)

kubeadm init \
  --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \
  --service-cidr=10.96.0.0/12 \
  --pod-network-cidr=10.244.0.0/16 \
  --control-plane-endpoint=192.168.122.188:6443 \
  --upload-certs

当出现以下标识,表明集群初始化成功:

Your Kubernetes control-plane has initialized successfully!

若初始化失败,先清理集群信息,检查错误后再重新初始化:

kubeadm reset    # 清理集群

(3)添加集群访问鉴权

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

此时 kubelet 服务已恢复正常:

systemctl status kubelet

检查集群初始化完成,但节点处于 NotReady 状态,这是缺少 CNI 插件导致的。本环境使用 Calico v3.25 插件。

kubectl get nodes
kubectl get pods -A

4. 安装 CNI 插件

(1)下载 calico.yaml 配置

wget https://docs.projectcalico.org/v3.25/manifests/calico.yaml

上传前面获取的 Calico 部署包到 master 节点:

ls x86/

(2)导入 cni.tar、kube-controllers.tar、node.tar 三个镜像包

ctr -n k8s.io images import cni.tar
ctr -n k8s.io images import kube-controllers.tar
ctr -n k8s.io images import node.tar
crictl images

(3)安装 CNI 插件

kubectl apply -f calico.yaml

检查 Calico 组件状态:

kubectl get pods -A
kubectl get nodes

Calico 相关组件已经 Running,master 节点恢复 Ready 状态。

5. 添加 node 节点

在 node 节点执行 join 命令,将节点加入 K8s 集群。

建议在 master 节点重新生成 join 命令,避免使用文档中固定的过期 token:

kubeadm token create --print-join-command

在 node 节点执行生成的 join 命令,格式类似:

kubeadm join 192.168.122.188:6443 \
  --token <token> \
  --discovery-token-ca-cert-hash sha256:<hash>

添加完成后,待 Calico 等组件调度完成,查看节点状态:

kubectl get nodes -o wide

四、附录:排错提示

  1. sysctl -pbridge-nf-call-ip6tables 不存在

    先加载 br_netfilter 模块:

    modprobe br_netfilter
    sysctl -p /etc/sysctl.d/k8s.conf
  2. 初始化完成后节点显示 NotReady

    这是正常现象,通常是缺少 CNI 插件。安装 Calico 后,节点会恢复 Ready。

  3. kubeadm join 提示 token 过期

    在 master 节点重新生成:

    kubeadm token create --print-join-command
  4. 版本一致性检查

    本文使用 Kubernetes v1.33.7,安装完成后可通过以下命令确认:

    kubectl get nodes
    kubeadm version
    kubelet --version
    containerd -v

如果这篇文章对你有帮助,欢迎点赞、收藏、评论交流。部署过程中如果遇到问题,可以把报错信息贴到评论区。

Logo

openEuler 是由开放原子开源基金会孵化的全场景开源操作系统项目,面向数字基础设施四大核心场景(服务器、云计算、边缘计算、嵌入式),全面支持 ARM、x86、RISC-V、loongArch、PowerPC、SW-64 等多样性计算架构

更多推荐