计算机知识分享

Share make me happy

0%

Kubernetes集群搭建

发表于 更新于 分类于 阅读次数： Valine：

K8S学习

简介

MESOS apache 分布式资源框架 2019-5 twitter 宣布导向k8s

docker swarm 2019-07 阿里云宣布，Docker swarm 剔除。

k8s Google 10年容器化的基础架构。 borg。

特点：

​ 轻量级：消耗小

​ 开源：

​ 弹性伸缩：

​ 负载均衡：最新的版本是用IPVS框架。

基础概念

Brog

etcd

k8s

api server ：所有服务访问的路口，充当网关的角色。

controllerManager：维持副本的期望数。

scheduler：调度器，负责接收任务，分配节点。

etcd：存储，持久化。

kubelet：直接跟容器引擎交互，实现容器的生命周期管理。

kubeproxy：负责写入规则到iptables、ipvs、firewalld等，实现服务映射。

coreDNS：为集群中的service提供域名解析。

DASHBOARD：提供B/S结构访问平台。

构建k8s集群

集群节点设置

安装环境

1、关闭防火墙

1
2
3
4
# 关闭防火墙
systemctl stop firewalld.service
# 关闭开机防火墙自启动
systemctl disable firewalld.service

2、关闭selinux

1
2
3
4
5
# 临时关闭
setenforce 0

# 永久关闭
sed -i 's/=enforcing/=disabled/' '/etc/selinux/config'

3、关闭swap分区

1
2
3
4
5
# 临时关闭
swapoff -a

# 永久关闭
sed -ri 's/.*swap.*/#&/'  /etc/fstab

4、规划主机名设置

1
hostnamectl set-hostname <hostname>

5、在master中，设置相关的hosts

1
2
3
4
5
cat >> /etc/hosts << EOF
192.168.44.146 k8smaster
192.168.44.145 k8snode1
192.168.44.144 k8snode2
EOF

6、将桥接的IPv4流量全部转发到iptables的链中。

1
2
3
4
5
6
7
cat >> /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# 执行命令立即生效
sysctl --system

7、同步时间

1
2
yum -y install ntpdate
ntpdate time.windows.com

在所有节点安装Docker/kubeadm/kubelet

安装docker

k8s默认的CRI（容器运行时）是Docker，所以我们需要先安装Docker。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 获取aliyundocker-ce源文件
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

# 安装docker
yum -y install docker-ce-18.06.1.ce-3.el7

# 查看docker是否安装成功
docker --version

# 配置docker镜像源
cat > /etc/docker/daemon.json << EOF
{
    "registry-mirrors": ["https://b9pmyelo.mirror.aliyuns.com"]
}
EOF

# 重启docker 
systemctl restart docker.service

# 查看修改结果（查看docker相关信息）
docker info

添加aliyun的yum软件源

1
2
3
4
5
6
7
8
9
10
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安装kubeadm，kubelet和kubectl

版本之间可能会存在兼容性问题，所以我们指定版本安装

1
2
3
4
5
# yum 安装kubelet和kubeadm以及kubectl
yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

# 设置开机自启动
systemctl enable kubelet

部署Kubernetes master节点

在master节点上执行，这里是192.168.44.146。

1
2
3
4
5
6
kubeadm init \
--apiserver-advertise-address=192.168.44.146 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.18.0 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

由于国内无法直接访问默认镜像仓库k8s.gcr.io，所以这里指定了aliyun的镜像仓库地址。

使用kubectl工具，需要配置一些项，如下图：

1
2
3
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

部署Kubernetes Node节点

在子节点node中执行以下命令，将节点加入master主节点，这里是192.168.44.145和192.168.44.144两个node节点。

1
2
kubeadm join 192.168.44.146:6443 --token 1jpl8j.dvxt8xtrhvp5kjyh \
    --discovery-token-ca-cert-hash sha256:741496f9f466bdc96b5ac4a0c76dbaf941a67192496c9c9bf396cabdc2a8df30

默认生成的token有效期为24小时，所以当我们的token失效的时候，需要重新在master节点上重新创建token，具体创建的指令如下：

1
2
# 创建token命令
kubeadm token create --print-join-command

将子节点加入集群之后可以在master节点上执行命令kubectl get nodes查看。

部署CNI网络组件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 下载yml源
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 或者直kubectl直接应用
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 查看各组件的运行情况，是否已经启动完成（RUNNING状态）
kubectl get pods -n kube-system

# 查看各节点的情况
kubectl get nodes

# 查看pod的状态
kubectl describe pod kube-flannel-ds-x56s9 --namespace=kube-system

拉取镜像的时候出错了，如上图所示，Init:ImagePullBackOff。原因：网络不好，拉取的时候超时了。

执行命令kubectl describe pod kube-flannel-ds-x56s9 --namespace=kube-system查看错误原因，可以看到是pull的时候报错了，如下图所示。

解决方案：

1、等待k8s重试。

2、手动拉取镜像

查看了node节点状态，发现node2时候的，所以执行命令docker images命令对比了两者的镜像差异，发现异常节点少了两个镜像。

异常节点k8snode1镜像如下：

正常节点k8snode2镜像如下：

对比发现，少了个异常节点镜像，所以执行命令docker save -o cni.tar.gz rancher/mirrored-flannelcni-flannel-cni-plugin:v1.1.0打包缺少的镜像。

在异常节点k8snode1上执行命令docker load -i < cni.tar.gz手动加载镜像。

3、重启docker服务。

重启k8snode1节点dockersystemctl restart docker.service，之后Kubernetes会自动创建pods。

在master节点上执行命令kubectl get nodes查看节点的状态，如下图：

测试Kubernetes集群

在Kubernetes集群中创建一个pod，验证是否正常。

1
2
3
4
5
6
7
8
# 拉去一个Nginx镜像
kubectl create deployment nginx --image=nginx

# 对外放开端口
kubectl expose deployment nginx --port=80 --type=NodePort

# 查看端口
kubectl get pod,svc

正在拉取中：

拉取并创建完成：

查看暴露的服务端口：

在本机电脑中使用k8snode1http://192.168.44.145:31259或者在k8snode2http://192.168.44.122:31259或者在master节点上，就可以正常访问Nginx服务器了。

小主，路过打个赏再走呗~