一.Kubernetes概述

1.docker以集群工作面临的问题

xxxxxxxxxx
15
1
集群编排面临的问题如下:
2
    1.跨主机通信问题？
3
    2.多容器跨主机部署？
4
    3.容器发布,升级，回滚？
5
    4.容器挂掉后，如何自动拉起服务？
6
    5.当现有容器资源不足时，是否可以自动扩容？
7
    6.能够实现容器的健康检查，若不健康是否能自动恢复？     
8
    7.如何将容器调度到集群特定节点？
9
    8.将容器从一个节点驱逐，下线节点如何操作?
10
    9.集群如何扩容?
11
    10.集群如何监控？
12
    11.集群日志如何收集？
13
    ...
14
​
15
早期容器容器编排工具：docker inc swarm，Apache mesos marathon，Google Kubernetes（简称K8S）。

2.Kubernetes简史

xxxxxxxxxx
34
1
2014年  docker容器编排工具，立项
2
​
3
2015年7月  发布kubernetes 1.0, 加入cncf基金会   孵化
4
​
5
2016年，kubernetes干掉两个对手，docker swarm，mesos marathon  1.2版
6
​
7
2017年   1.5  -1.9
8
​
9
2018年   k8s 从cncf基金会  毕业项目1.10 1.11 1.12，1.13
10
​
11
2019年： 1.14，1.15，1.16，1.17
12
​
13
2020年： 1.18, 1.19，1.20，1.21 
14
​
15
2021年: 1.22
16
​
17
2022年: 1.23，1.24
18
​
19
cncf :
20
    cloud  native  compute  foundation 孵化器
21
​
22
kubernetes （k8s）: 
23
    希腊语 舵手，领航者  容器编排领域，
24
​
25
谷歌15年容器使用经验，
26
    borg容器管理平台，使用golang重构borg，kubernetes 
27
    
28
推荐阅读:
29
    https://kubernetes.io/releases/patch-releases/#1-22
30
    https://github.com/kubernetes/kubernetes
31
    https://kubernetes.io/releases/release/
32
    
33
温馨提示:
34
    k8s的称呼并非空穴来风，可百度搜索"i18n"(是“国际化”的简称，全称为"internationalization")。

3.Kubernetes架构

xxxxxxxxxx
31
1
Scheduler:
2
    kube-scheduler根据调度算法为新创建的Pod选择一个Node节点，可以任意部署，可以部署在同一个节点上，也可以部署在不同的节点上。
3
            
4
Controller Manager:
5
    Kube-controller-manager，处理集群中常规后台任务，一个资源对应一个控制器，而ControllerManager就是负责管理这些控制器的。
6
​
7
Cloud Controller Manager:
8
    用在云平台上的Kube-controller-manager组件。如果我们直接在物理机上部署的话，可以不使用该组件。
9
​
10
API Server:
11
    kube-apiserver，集群的统一入口，各组件协调者，以RESTFUL API提供接口服务，所有对象资源的增删改查和监听操作都交给APIServer处理后再提交给etcd存储。
12
​
13
Etcd:
14
    分布式键值存储系统，用于保存集群状态元数据信息，比如Pod，Service等对象信息。这个数据库是可以单独拿出来部署，只需要API server可以连接到该分布式数据库集群即可。
15
    
16
​
17
kubelet:
18
    可以理解为Master在工作节点上的Agent，管理本机运行容器的生命周期，比如创建容器，Pod挂载数据卷，下载secret，获取容器的节点状态等工作。kubelet将每一个Pod转换成一组容器。
19
        
20
kube-proxy:
21
    在工作节点上实现Pod网络代理，维护网络规则和四层负载均衡工作。换句话说，就是用于负责Pod网络路由，用于对外提供访问的实现。可以找到你关心的项目所在的pod节点。
22
​
23
POD:
24
    用户划分容器的最小单位，一个POD可以存在多个容器。
25
    
26
docker/rocket(rkt，已停止支持):
27
    容器引擎，用于运行容器。
28
    
29
    
30
参考链接:
31
    https://kubernetes.io/zh/docs/concepts/overview/components/

二.Kubernete集群部署方式及大规模集群注意事项

1.kubernetes集群部署方式

xxxxxxxxxx
36
1
yum安装:
2
    优点:
3
        安装，配置很简单，适合新手学习。
4
    缺点:
5
        版本较低，目前仅支持K8S 1.5.2版本，很多功能不支持。
6
        
7
        
8
kind安装:
9
    kind让你能够在本地计算机上运行Kubernetes。 kind要求你安装并配置好Docker。
10
    推荐阅读:
11
        https://kind.sigs.k8s.io/docs/user/quick-start/
12
        
13
        
14
minikube部署:
15
    minikube是一个工具， 能让你在本地运行Kubernetes。 
16
    minikube在你本地的个人计算机（包括 Windows、macOS 和 Linux PC）运行一个单节点的Kubernetes集群，以便你来尝试 Kubernetes 或者开展每天的开发工作。因此很适合开发人员体验K8S。
17
    推荐阅读:
18
        https://minikube.sigs.k8s.io/docs/start/
19
        
20
​
21
kubeadm:
22
    你可以使用kubeadm工具来创建和管理Kubernetes集群，适合在生产环境部署。
23
    该工具能够执行必要的动作并用一种用户友好的方式启动一个可用的、安全的集群。
24
    推荐阅读:
25
        https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/
26
        https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
27
        https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
28
​
29
​
30
二进制部署:
31
    安装步骤比较繁琐，但可以更加了解细节。适合运维人员生产环境中使用。
32
​
33
​
34
​
35
源码编译安装:
36
    难度最大，请做好各种故障排查的心理准备。其实这样一点对于K8S二次开发的人员应该不是很难。

2.kubectl是kubernetes集群的命令行工具

xxxxxxxxxx
4
1
    kubectl使得你可以对Kubernetes集群运行命令。 你可以使用kubectl来部署应用、监测和管理集群资源以及查看日志。
2
    
3
    推荐阅读:
4
        https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands

3.大规模集群的注意事项

xxxxxxxxxx
2
1
推荐阅读:
2
    https://kubernetes.io/zh/docs/setup/best-practices/cluster-large/

三.部署Kubernetes集群

1.K8S各节点环境准备

xxxxxxxxxx
92
1
(1)虚拟机操作系统环境准备
2
参考链接:
3
    https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/install-kubeadm/
4
​
5
(2)关闭swap分区
6
    1)临时关闭
7
swapoff -a && sysctl -w vm.swappiness=0
8
    2)基于配置文件关闭
9
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab
10
​
11
​
12
(3)确保各个节点MAC地址或product_uuid唯一
13
ifconfig  eth0  | grep ether | awk '{print $2}'
14
cat /sys/class/dmi/id/product_uuid 
15
​
16
    温馨提示:
17
        一般来讲，硬件设备会拥有唯一的地址，但是有些虚拟机的地址可能会重复。 
18
        Kubernetes使用这些值来唯一确定集群中的节点。 如果这些值在每个节点上不唯一，可能会导致安装失败。
19
​
20
​
21
(4)检查网络节点是否互通
22
简而言之，就是检查你的k8s集群各节点是否互通，可以使用ping命令来测试。
23
​
24
​
25
(5)允许iptable检查桥接流量
26
cat <<EOF | tee /etc/modules-load.d/k8s.conf
27
br_netfilter
28
EOF
29
​
30
cat <<EOF | tee /etc/sysctl.d/k8s.conf
31
net.bridge.bridge-nf-call-ip6tables = 1
32
net.bridge.bridge-nf-call-iptables = 1
33
EOF
34
sysctl --system
35
​
36
​
37
(6)检查端口是否被占用
38
参考链接: https://kubernetes.io/zh/docs/reference/ports-and-protocols/
39
​
40
​
41
(7)检查docker的环境
42
参考链接:
43
    https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.15.md#unchanged
44
    
45
    1)配置docker源
46
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
47
curl -o /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
48
sed -i 's+download.docker.com+mirrors.tuna.tsinghua.edu.cn/docker-ce+' /etc/yum.repos.d/docker-ce.repo
49
yum list docker-ce --showduplicates
50
​
51
    2)安装指定的docker版本
52
yum -y install docker-ce-18.09.9 docker-ce-cli-18.09.9
53
yum -y install bash-completion
54
source /usr/share/bash-completion/bash_completion
55
​
56
    3)打包软件包分发到其他节点部署docker（此步骤可跳过）
57
mkdir docker-rpm-18-09 && find /var/cache/yum -name "*.rpm" | xargs mv -t docker-rpm-18-09/
58
​
59
    4)配置docker优化
60
mkdir -pv /etc/docker && cat <<EOF | sudo tee /etc/docker/daemon.json
61
{
62
  "insecure-registries": ["k8s151.oldboyedu.com:5000"],
63
  "registry-mirrors": ["https://tuv7rqqq.mirror.aliyuncs.com"],
64
  "exec-opts": ["native.cgroupdriver=systemd"]
65
}
66
EOF
67
    
68
    5)配置docker开机自启动
69
systemctl enable --now docker
70
systemctl status docker
71
​
72
​
73
(8)禁用防火墙
74
systemctl disable --now firewalld
75
​
76
​
77
(9)禁用selinux
78
sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config 
79
grep ^SELINUX= /etc/selinux/config
80
​
81
​
82
(10)配置host解析
83
cat >> /etc/hosts <<'EOF'
84
10.0.0.151        k8s151.oldboyedu.com
85
10.0.0.152        k8s152.oldboyedu.com
86
10.0.0.153        k8s153.oldboyedu.com
87
EOF
88
cat /etc/hosts
89
​
90
​
91
(11)在k8s151.oldboyedu.com节点启用docker registry的私有仓库
92
docker run -dp 5000:5000 --restart always --name oldboyedu-registry registry:2

2.软件包作用说明

xxxxxxxxxx
11
1
你需要在每台机器上安装以下的软件包：
2
    kubeadm：
3
        用来初始化集群的指令。
4
    kubelet：
5
        在集群中的每个节点上用来启动Pod和容器等。
6
    kubectl：
7
        用来与集群通信的命令行工具。
8
​
9
kubeadm不能帮你安装或者管理kubelet或kubectl，所以你需要确保它们与通过kubeadm安装的控制平面(master)的版本相匹配。 如果不这样做，则存在发生版本偏差的风险，可能会导致一些预料之外的错误和问题。 
10
​
11
然而，控制平面与kubelet间的相差一个次要版本不一致是支持的，但kubelet的版本不可以超过"API SERVER"的版本。 例如，1.7.0版本的kubelet可以完全兼容1.8.0版本的"API SERVER"，反之则不可以。

3.所有节点安装kubeadm，kubelet，kubectl

xxxxxxxxxx
31
1
(1)配置软件源
2
cat  > /etc/yum.repos.d/kubernetes.repo <<EOF
3
[kubernetes]
4
name=Kubernetes
5
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
6
enabled=1
7
gpgcheck=0
8
repo_gpgcheck=0
9
EOF
10
​
11
​
12
(2)查看kubeadm的版本（将来你要安装的K8S时请所有组件版本均保持一致!）
13
yum -y list kubeadm --showduplicates | sort -r
14
​
15
​
16
(3)安装kubeadm，kubelet，kubectl软件包
17
yum -y install kubeadm-1.15.12-0 kubelet-1.15.12-0 kubectl-1.15.12-0 
18
​
19
​
20
(4)启动kubelet服务(若服务启动失败时正常现象，其会自动重启，因为缺失配置文件，初始化集群后恢复！此步骤可跳过！)
21
systemctl enable --now kubelet
22
systemctl status kubelet
23
​
24
​
25
(5)温馨提示:（可以将k8s软件打包到其他节点安装哟，前提是得开启rpm包缓存。）
26
    mkdir k8s-rpm && find /var/cache/yum -name "*.rpm" | xargs mv -t k8s-rpm
27
​
28
​
29
​
30
参考链接:
31
    https://kubernetes.io/zh/docs/tasks/tools/install-kubectl-linux/

4.初始化master节点

x
1
    (1)使用kubeadm初始化master节点
2
kubeadm init --kubernetes-version=v1.15.12 --image-repository registry.aliyuncs.com/google_containers  --pod-network-cidr=10.244.0.0/16 --service-cidr=10.254.0.0/16  --service-dns-domain=oldboyedu.com
3
​
4
​
5
相关参数说明:
6
    --kubernetes-version:
7
        指定K8S master组件的版本号。
8
        
9
    --image-repository:
10
        指定下载k8s master组件的镜像仓库地址。
11
        
12
    --pod-network-cidr:
13
        指定Pod的网段地址。
14
        
15
    --service-cidr:
16
        指定SVC的网段
17
​
18
    --service-dns-domain:
19
        指定service的域名。若不指定，默认为"cluster.local"。
20
        
21
​
22
使用kubeadm初始化集群时，可能会出现如下的输出信息:
23
[init] 
24
    使用初始化的K8S版本。
25
    
26
[preflight] 
27
    主要是做安装K8S集群的前置工作，比如下载镜像，这个时间取决于你的网速。
28
​
29
[certs] 
30
    生成证书文件，默认存储在"/etc/kubernetes/pki"目录哟。
31
​
32
[kubeconfig]
33
    生成K8S集群的默认配置文件，默认存储在"/etc/kubernetes"目录哟。
34
​
35
[kubelet-start] 
36
    启动kubelet，
37
    环境变量默认写入:"/var/lib/kubelet/kubeadm-flags.env"
38
    配置文件默认写入:"/var/lib/kubelet/config.yaml"
39
​
40
[control-plane]
41
    使用静态的目录，默认的资源清单存放在:"/etc/kubernetes/manifests"。
42
    此过程会创建静态Pod，包括"kube-apiserver"，"kube-controller-manager"和"kube-scheduler"
43
​
44
[etcd] 
45
    创建etcd的静态Pod，默认的资源清单存放在:""/etc/kubernetes/manifests"
46
    
47
[wait-control-plane] 
48
    等待kubelet从资源清单目录"/etc/kubernetes/manifests"启动静态Pod。
49
​
50
[apiclient]
51
    等待所有的master组件正常运行。
52
    
53
[upload-config] 
54
    创建名为"kubeadm-config"的ConfigMap在"kube-system"名称空间中。
55
    
56
[kubelet] 
57
    创建名为"kubelet-config-1.22"的ConfigMap在"kube-system"名称空间中，其中包含集群中kubelet的配置
58
​
59
[upload-certs] 
60
    跳过此节点，详情请参考”--upload-certs"
61
    
62
[mark-control-plane]
63
    标记控制面板，包括打标签和污点，目的是为了标记master节点。
64
    
65
[bootstrap-token] 
66
    创建token口令，例如:"kbkgsa.fc97518diw8bdqid"。
67
    如下图所示，这个口令将来在加入集群节点时很有用，而且对于RBAC控制也很有用处哟。
68
​
69
[kubelet-finalize] 
70
    更新kubelet的证书文件信息
71
​
72
[addons] 
73
    添加附加组件，例如:"CoreDNS"和"kube-proxy”
74
    
75
    
76
    (2)拷贝授权文件，用于管理K8S集群
77
mkdir -p $HOME/.kube
78
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
79
sudo chown $(id -u):$(id -g) $HOME/.kube/config 
80
​
81
​
82
    (3)查看集群节点
83
kubectl get cs

5.配置所有worker节点加入k8s集群

xxxxxxxxxx
7
1
(1)worker节点加入集群(如上图所示，下面的token及hash值需要根据您的集群环境而发生改变哟~)
2
kubeadm join 10.0.0.151:6443 --token pg399v.wxo32zunx09ekd6s \
3
    --discovery-token-ca-cert-hash sha256:3de653e36b5bbe3d34189607f4c11e63bcc675354dd2d47b81496ca96b68db60 
4
    
5
    
6
(2)查看集群现有的worker节点
7
kubectl get no

6.初始化网络组件

xxxxxxxxxx
19
1
    官方的貌似有问题:(不推荐使用!)
2
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-legacy.yml
3
​
4
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-rbac.yml
5
​
6
​
7
    有效的连接:
8
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml
9
​
10
​
11
验证flannel插件是否部署成功:
12
kubectl get nodes
13
kubectl get pods -A -o wide | grep  flannel
14
​
15
​
16
​
17
参考链接:
18
    https://kubernetes.io/zh/docs/concepts/cluster-administration/addons/
19
    https://github.com/flannel-io/flannel/blob/master/Documentation/kubernetes.md

7.添加自动补全功能

xxxxxxxxxx
1
1
echo "source <(kubectl completion bash)" >> ~/.bashrc && source ~/.bashrc 

8.测试网络的联通性(新手可跳过，讲师课堂演示参考)

xxxxxxxxxx
24
1
(1)测试网络是否正常
2
kubectl run oldboyedu-linux  --image=alpine  --replicas=3  -- sleep 300
3
​
4
(2)观察是否是runing状态:
5
kubectl get pods 
6
​
7
(3)测试网络是否互通
8
建议使用alpine镜像的Pod进行测试即可。
9
​
10
​
11
​
12
温馨提示: (所有的worker节点做此操作即可)
13
    问题引出: 
14
        如下图所示，"network: failed to find plugin "flannel" in path [/opt/cni/bin]]..."这样的报错。
15
    解决方案:
16
        wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz
17
        
18
        tar xf cni-plugins-linux-amd64-v0.8.6.tgz
19
        
20
        cp flannel /opt/cni/bin/
21
​
22
​
23
温馨提示:
24
    也可以不用cp步骤，直接执行“tar xf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin/ ./flannel”即可。

9.彩蛋

xxxxxxxxxx
15
1
    (1)修改终端颜色
2
cat <<EOF >>  ~/.bashrc 
3
PS1='[\[\e[34;1m\]\u@\[\e[0m\]\[\e[32;1m\]\H\[\e[0m\]\[\e[31;1m\] \W\[\e[0m\]]# '
4
EOF
5
source ~/.bashrc 
6
​
7
​
8
    (2)内存回收小妙招
9
echo 3 > /proc/sys/vm/drop_caches
10
    温馨提示:   
11
        drop_caches的值可以是0-3之间的数字，代表不同的含义
12
            0：不释放（系统默认值）
13
            1：释放页缓存
14
            2：释放dentries和inodes
15
            3：释放所有缓存

10.高可用的etcd集群[待更新]

xxxxxxxxxx
8
1
敬请期待...
2
​
3
​
4
​
5
参考链接:
6
    https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/
7
    
8
    https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/high-availability/

四.Pod基础管理

1.什么是Pod

xxxxxxxxxx
7
1
Pod是Kubernetes集群中最小部署单元，一个Pod由一个容器或多个容器组成，这些容器可以共享网络，存储等资源等。
2
​
3
Pod有以下特点:
4
    (1)一个Pod可以理解成一个应用实例，提供服务;
5
    (2)Pod中容器始终部署在同一个Node上;
6
    (3)Pod中容器共享网络，存储资源;
7
    (4)Kubernetes集群是直接管理Pod，而不是容器;

2.一个Pod运行单个容器案例

xxxxxxxxxx
48
1
(1)编写资源清单
2
cat > 01-pod-nginx.yaml <<'EOF'
3
# 声明资源的版本
4
apiVersion: v1
5
# 声明类型
6
kind: Pod
7
# 声明资源的源数据信息
8
metadata:
9
   # 声明资源的名称
10
   name: oldboyedu-linux84-web
11
# 定义用户期望资源的状态
12
spec:
13
  # 定义期望运行的容器信息
14
  containers:
15
    # 声明容器的名称
16
  - name: myweb
17
    # 指定容器运行哪个镜像
18
    image: nginx:1.14.2-alpine
19
EOF
20
​
21
​
22
(2)创建资源
23
kubectl create -f 01-pod-nginx.yaml   
24
​
25
​
26
(3)查看Pod资源
27
kubectl get pods
28
kubectl get pods -o wide  # 主要查看IP地址
29
​
30
​
31
​
32
相关字段说明:
33
    NAME
34
        代表的是资源的名称。
35
    READY   
36
        代表资源是否就绪。比如 0/1 ，表示一个Pod内有一个容器，而且这个容器还未运行成功。
37
    STATUS    
38
        代表容器的运行状态。
39
    RESTARTS   
40
        代表Pod重启次数，即容器被创建的次数。
41
    AGE     
42
        代表Pod资源运行的时间。
43
    IP            
44
        代表Pod的IP地址。
45
    NODE
46
        代表Pod被调度到哪个节点。
47
    其他: 
48
        "NOMINATED NODE和"READINESS GATES"暂时先忽略哈。

3.一个Pod运行多个容器案例

xxxxxxxxxx
37
1
(1)编写资源清单
2
cat > 02-pod-nginx-alpine.yaml <<'EOF'
3
# 声明资源的版本
4
apiVersion: v1
5
# 声明类型
6
kind: Pod
7
# 声明资源的源数据信息
8
metadata:
9
   # 声明资源的名称
10
   name: oldboyedu-linux84-web-alpine
11
   # 给容器添加标签
12
   labels:
13
      class: linux84
14
      school: oldboyedu
15
      # apps: web
16
# 定义用户期望资源的状态
17
spec:
18
  # 定义期望运行的容器信息
19
  containers:
20
    # 声明容器的名称
21
  - name: myweb
22
    # 指定容器运行哪个镜像
23
    image: nginx:1.14.2-alpine
24
  - image: alpine
25
    # 为容器分配一个标准输入
26
    stdin: true
27
    name: mylinux
28
EOF
29
​
30
​
31
(2)创建资源
32
kubectl apply -f 02-pod-nginx-alpine.yaml 
33
​
34
​
35
(3)查看Pod资源
36
kubectl get pods
37
kubectl get pods -o wide  # 主要查看IP地址

4.连接Pod并验证网络共享实战案例

xxxxxxxxxx
31
1
(1)使用exec在Pod中执行命令
2
kubectl exec oldboyedu-linux83-web -- nginx -t
3
kubectl exec po/oldboyedu-linux83-web -- nginx -t  
4
​
5
(2)连接容器
6
kubectl exec po/oldboyedu-linux83-web  -it -- bash 
7
kubectl exec oldboyedu-linux83-nginx-alpine -c linux83-alpine  -it -- sh  # 连接到指定容器。
8
​
9
​
10
(3)同一个Pod的容器默认共享网络空间
11
测试见视频。
12
核心命令: wget 127.0.0.1:80  # 在alpine中镜像的容器中执行该命令即可。 
13
​
14
​
15
​
16
温馨提示:
17
    使用"kubectl api-resources"可以查看集群的所有资源，各字段解释如下:
18
        NAME
19
            资源的名称。
20
​
21
        SHORTNAMES
22
            资源名称的简写形式。
23
​
24
        APIGROUP
25
            资源属于哪个API组。
26
​
27
        NAMESPACED
28
            是否属于某个名称空间。
29
​
30
        KIND
31
            资源的类型。

5.资源的增删改查

5.1 查询

xxxxxxxxxx
27
1
kubectl get po,no
2
    查看Pod,nodes的信息。（重点掌握）
3
    
4
kubectl get pods -o wide
5
    查看Pod被调度的节点及IP地址等信息。 （重点掌握）
6
 
7
kubectl get pods -o yaml
8
    查看Pod资源创建时的yaml文件，若用户为定义，此处会有默认字段。（了解即可）
9
    
10
kubectl get pods --show-labels
11
    查看Pod及其标签信息。 （了解即可）
12
    
13
    
14
自定义列名称输出: （了解即可）
15
    案例一:
16
kubectl get pod -o custom-columns=CONTAINER:.spec.containers[0].name
17
​
18
    案例二:
19
kubectl get pod -o custom-columns=CONTAINER:.spec.containers[0].name,IMAGE:.spec.containers[0].image
20
    
21
    案例三:
22
kubectl get pods oldboyedu-linux80-nginx-alpine -o custom-columns=oldboyedu-container-name:.spec.containers[0].name,oldboyedu-stdin:.spec.containers[1].stdin,oldboyedu-image01:.spec.containers[0].image,oldboyedu-image02:.spec.containers[1].image
23
​
24
​
25
参考链接:
26
    https://kubernetes.io/docs/reference/generated/kubectl/kubectl-commands#get
27
    https://kubernetes.io/docs/reference/kubectl/#custom-columns

5.2 删除

xxxxxxxxxx
11
1
kubectl delete -f 02-pod-nginx-alpine.yaml 
2
    基于文件删除资源。（重点掌握）
3
    
4
kubectl delete pods oldboyedu-linux80-web 
5
    基于Pods的名称进行删除。（重点掌握）
6
    
7
kubectl delete pods -l apps=myweb
8
    基于标签进行删除，即匹配标签名称为"apps=myweb"的所有Pod类型。（了解即可）
9
    
10
kubectl delete pod --all
11
    删除所有的Pod信息。（了解即可）

5.3 更新

xxxxxxxxxx
2
1
kubectl apply -f 01-pod-nginx.yaml 
2
    apply命令是一个高级命令，若资源不存在，则会创建，若资源存在，可以用于更新。（重点掌握）

5.4 创建

xxxxxxxxxx
2
1
kubectl create -f 01-pod-nginx.yaml 
2
    将指定文件的资源进行创建，不能多次执行。该命令逐渐被apply命令所替代使用。（了解即可）

5.5 故障排查相关命令

5.5.1 describe命令

xxxxxxxxxx
25
1
kubectl describe po/oldboyedu-linux80-env-secret-demo
2
    只查看名称为"oldboyedu-linux80-env-secret-demo"的Pod详细信息。（重点掌握）
3
    
4
kubectl describe po oldboyedu-linux80-volume
5
    查看Pod前缀名称包含"oldboyedu-linux80-volume"的所有的详细信息。（了解即可）
6
    
7
kubectl describe -f 01-pod-nginx.yaml 
8
    查看"01-pod-nginx.yaml"资源清单的资源详细信息。（了解即可）
9
    
10
kubectl describe po  -l  apps=myweb （了解即可）
11
    查看标签名称为"apps=myweb"的所有po资源详细信息。
12
    
13
    
14
    
15
新手推荐关注"Events:"字段，各字段说明如下:
16
      Type:
17
            事件的类型。
18
      Reason:
19
            事件的原因。
20
      Age:   
21
            事件发生距离现在的时间。
22
      From:
23
            代表从哪个节点上报的事件信息。
24
      Message
25
            详细信息。

5.5.2 log命令

xxxxxxxxxx
19
1
kubectl logs -f oldboyedu-linux80-env-secret-demo （重点掌握）
2
    查看名称为"oldboyedu-linux80-env-secret-demo"的Pod日志信息。
3
    若一个Pod内只有一个容器，则无序使用"-c"选项。
4
​
5
kubectl logs -f oldboyedu-linux80-nginx-alpine -c linux80-web（了解即可）
6
    查看"oldboyedu-linux80-nginx-alpine "的Pod内名称为"linux80-web"容器日志。
7
    使用"-c"选项一般多用于一个Pod内有多个容器的场景。
8
    
9
    
10
kubectl logs -f oldboyedu-linux80-nginx-alpine -c linux80-web --timestamps --since=10m （了解即可）
11
    --since=10m
12
        表示查看当前时间最近10分钟的日志信息。
13
    --timestamps
14
        查看时间戳。
15
        
16
        
17
kubectl logs -f oldboyedu-linux81-web  --since-time="2022-07-28T16:22:30+08:00" （了解即可）
18
    --since-time
19
        作用和--since基本相同，只不过写法不一样！因为其要求的时间格式为"RFC3339"

5.5.3 cp命令

xxxxxxxxxx
16
1
kubectl cp 01-pod-nginx.yaml oldboyedu-linux81-nginx-alpine:/
2
    将本地的01-pod-nginx.yaml文件拷贝到oldboyedu-linux81-nginx-alpine内的"/"路径下。
3
    
4
kubectl cp 01-pod-nginx.yaml oldboyedu-linux81-nginx-alpine:/ -c linux81-alpine
5
    将本地的01-pod-nginx.yaml文件拷贝到oldboyedu-linux81-nginx-alpine内的"/"路径下指定的linux81-alpine容器中。
6
​
7
​
8
kubectl cp oldboyedu-linux81-nginx-alpine:/etc -c linux81-alpine ./
9
    将容器的目录拷贝到当前目录。
10
    
11
kubectl cp oldboyedu-linux81-nginx-alpine:/os-release -c linux81-alpine ./test
12
    将容器的文件拷贝到当前目录。
13
    
14
    
15
温馨提示:
16
    (1)我曾尝试在Pod手动创建一个tar包，并尝试将该tar拷贝出来，发现最终还是失败了，测试的版式1.15.12。

5.5.4 exec命令

xxxxxxxxxx
8
1
kubectl exec oldboyedu-linux81-web -- cat /etc/hosts
2
    在一个Pod中执行命令。这种命令适用于一个Pod内仅有一个容器的案例。
3
    
4
kubectl exec oldboyedu-linux81-nginx-alpine -c linux81-alpine -- hostname -i
5
    在一个Pod中的linux81-alpine容器执行一个命令。这种命令适用于一个Pod内有多个容器的案例。
6
    
7
kubectl exec oldboyedu-linux81-nginx-alpine -c linux81-alpine -it -- sh
8
    连接到指定的容器。

5.6 标签管理

5.6.1 声明式【优点：持久化标签配置，缺点：修改配置文件并应用】

xxxxxxxxxx
24
1
cat > 01-pod-nginx.yaml <<EOF
2
# 部署的资源类型
3
kind: Pod
4
# API的版本号
5
apiVersion: v1
6
# 元数据信息
7
metadata:
8
  # 资源的名称
9
  name: oldboyedu-linux81-web
10
  # 为资源配置标签，KEY和VALUES都是有用户自定义的
11
  labels:
12
    apps: web
13
    class: linux81
14
    school: oldboyedu
15
    address: shahe
16
# 自定义Pod资源的配置
17
spec:
18
  # 定义容器相关信息
19
  containers:
20
    # 定义容器的名称
21
  - name: linux80-web
22
    # 定义容器基于哪个镜像启动
23
    image: nginx:1.18
24
EOF

5.6.2 响应式【优点: 不需要修改配置文件，立刻生效 缺点: 无法持久化，是临时的】

xxxxxxxxxx
11
1
    基于资源名称创建标签:
2
kubectl label pods oldboyedu-linux81-nginx-alpine school=oldboyedu class=linux81
3
​
4
    基于文件的方式创建标签:
5
kubectl label -f 02-pod-nginx-alpine.yaml address=ShaHe
6
​
7
    覆盖已经存在的KEY值:
8
kubectl label --overwrite  pod oldboyedu-linux81-web address=ShaHeJiaoShiWu
9
​
10
    删除已经存在的标签KEY:
11
kubectl label pods oldboyedu-linux81-web address-

6.args和command

xxxxxxxxxx
19
1
cat > 05-pod-command-args.yaml <<'EOF'
2
kind: Pod
3
apiVersion: v1
4
metadata:
5
  name: oldboyedu-linux80-command-args
6
  labels:
7
     apps: myweb
8
spec:
9
  containers:
10
  - name: linux80-web
11
    image: nginx:1.18
12
    # command会覆盖镜像的ENTRYPOINT
13
    command:
14
    - "tail"
15
    # args会覆盖镜像的CMD指令
16
    args:
17
    - "-f"
18
    - "/etc/hosts"
19
EOF

7.资源限制

7.1 limits案例

xxxxxxxxxx
18
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-resources-limits
5
  labels:
6
     apps: myweb
7
spec:
8
  containers:
9
  - name: linux80-web
10
    image: nginx:1.18
11
    # 配置容器的资源限制
12
    resources:
13
       # 设置资源的上线
14
       limits:
15
          # 配置内存限制
16
          memory: "200Mi"
17
          # 配置CPU的显示，CPU的换算公式: 1core = 1000m 
18
          cpu: "500m"

7.2 limits和requests案例

xxxxxxxxxx
22
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-resources-limits-requests
5
  labels:
6
     apps: myweb
7
spec:
8
  containers:
9
  - name: linux80-web
10
    image: nginx:1.18
11
    # 配置容器的资源限制
12
    resources:
13
       # 设置资源的上线
14
       limits:
15
          # 配置内存限制
16
          memory: "200Mi"
17
          # 配置CPU的显示，CPU的换算公式: 1core = 1000m 
18
          cpu: "500m"
19
       # 配置容器期望的资源，如果所有节点不符合期望的资源，则无法完成调度
20
       requests:
21
          memory: "100Mi"
22
          cpu: "500m"

7.3 综合案例

xxxxxxxxxx
35
1
(1)编写资源清单
2
cat > 07-pods-resources-stress.yaml  <<'EOF'
3
kind: Pod
4
apiVersion: v1
5
metadata:
6
  name: oldboyedu-linux80-stress
7
  labels:
8
     apps: myweb
9
spec:
10
  containers:
11
  - name: linux80-web
12
    image: jasonyin2020/oldboyedu-linux-tools:v0.1
13
    resources:
14
       limits:
15
          memory: "1Gi"
16
          cpu: "500m"
17
       requests:
18
          memory: "100Mi"
19
          cpu: "200m"
20
    command:
21
    - "tail"
22
    args:
23
    - "-f"
24
    - "/etc/hosts"
25
EOF    
26
​
27
(2)创建Pod
28
kubectl apply -f 07-pods-resources.yaml 
29
​
30
(3)执行压力测试命令
31
kubectl exec oldboyedu-linux80-stress -- stress --cpu 8 --io 4 --vm 7 --vm-bytes 128M --timeout 10m --vm-keep
32
​
33
​
34
(4)观察Pod使用资源状态
35
如上图所示。

8.镜像下载策略

xxxxxxxxxx
53
1
    (1)编写资源清单
2
cat > 08-pods-imagePullPolicy.yaml <<'EOF'
3
kind: Pod
4
apiVersion: v1
5
metadata:
6
  name: oldboyedu-linux80-imagepullpolicy
7
  labels:
8
     apps: myweb
9
spec:
10
  # 将Pod调度到指定到节点名称
11
  # 注意，节点名称不能乱写，必须是在"kubectl get nodes"指令中存在.
12
  nodeName: k8s202.oldboyedu.com
13
  containers:
14
  - name: linux80-web
15
    image: k8s201.oldboyedu.com:5000/nginx:1.18
16
    # 指定镜像的下载策略，其值为:  Always, Never, IfNotPresent
17
    # Always:
18
    #    总是去拉取最新的镜像，这是默认值.
19
    #    如果本地镜像存在同名称的tag，其会取出该镜像的RepoDigests(镜像摘要)和远程仓库的RepoDigests进行比较
20
    #    若比较结果相同，则直接使用本地缓存镜像，若比较结果不同，则会拉取远程仓库最新的镜像
21
    # Never:
22
    #    如果本地有镜像，则尝试启动容器;
23
    #    如果本地没有镜像，则永远不会去拉取尝试镜像。
24
    # IfNotPresent:
25
    #    如果本地有镜像，则尝试启动容器，并不会去拉取镜像。
26
    #    如果本地没有镜像，则会去拉取镜像。
27
    imagePullPolicy: Always
28
    stdin: true
29
EOF
30
​
31
    (2)常见资源清单
32
kubectl apply -f 08-pods-imagePullPolicy.yaml 
33
    
34
    (3)验证
35
略，见视频。
36
​
37
​
38
​
39
Note:
40
    在生产环境中部署容器时，你应该避免使用 :latest 标签，因为这使得正在运行的镜像的版本难以追踪，并且难以正确地回滚。
41
    相反，应指定一个有意义的标签，如 v1.42.0。
42
​
43
​
44
删除镜像
45
    1)删除元数据信息
46
docker exec oldboyedu-registry rm -rf /var/lib/registry/docker/registry/v2/repositories/nginx
47
    
48
    2)回收数据
49
docker exec oldboyedu-registry registry garbage-collect /etc/docker/registry/config.yml
50
​
51
​
52
参考链接:
53
    https://kubernetes.io/zh/docs/concepts/containers/images/

9.传递环境变量

xxxxxxxxxx
34
1
    (1)编写资源清单
2
cat > 09-pods-env.yaml <<'EOF'
3
kind: Pod
4
apiVersion: v1
5
metadata:
6
  name: oldboyedu-linux80-env
7
  labels:
8
     apps: myweb
9
spec:
10
  nodeName: k8s202.oldboyedu.com
11
  containers:
12
  - name: linux80-web
13
    image: k8s201.oldboyedu.com:5000/nginx:1.18
14
    imagePullPolicy: Always
15
    stdin: true
16
    # 向容器传递环境变量.
17
    env:
18
      # 指定环境变量的名称.
19
    - name: OLDBOYEDU_LINUX80_ADMIN
20
      # 指定环境变量的值.
21
      value: wanyan
22
    - name: OLDBOYEDU_linux80_dev
23
      value: heyingnan
24
    - name: oldboyedu_linux80_ops
25
      value: wangdongli
26
EOF
27
​
28
​
29
    (2)创建资源
30
kubectl apply -f 09-pods-env.yaml 
31
​
32
​
33
    (3)验证
34
kubectl exec oldboyedu-linux80-env env 

10.存储卷

10.1 为什么需要存储卷

xxxxxxxxxx
10
1
容器部署过程中一般有三种数据:
2
    (1)启动时需要的初始数据，比如配置文件，比如: wordpress，zabbix等等。
3
    (2)启动过程中产生的临时数据，该数据需要多个容器间共享，比如: nginx + filebeat;
4
    (3)启动容器过程中产生的持久化数据，比如：mysql。
5
    
6
综上所述，数据卷的作用就是为了解决上面三种情况产生的数据进行持久化的方案。
7
​
8
​
9
参考链接:
10
    https://kubernetes.io/zh/docs/concepts/storage/volumes/

10.2 emptyDir案例

10.2.1 emptyDir概述

xxxxxxxxxx
32
1
什么是emptyDir:
2
    是一个临时存储卷，与Pod的生命周期绑定到一起，如果Pod被删除了，这意味着数据也被随之删除。
3
    
4
emptyDir作用:
5
    (1)可以实现持久化;
6
    (2)同一个Pod的多个容器可以实现数据共享，多个不同的Pod之间不能进行数据通信;
7
    (3)随着Pod的生命周期而存在，当我们删除Pod时，其数据也会被随之删除;
8
    
9
    
10
emptyDir的应用场景:
11
    (1)临时缓存空间，比如基于磁盘的归并排序;
12
    (2)为较耗时计算任务提供检查点，以便任务能方便的从崩溃前状态恢复执行;
13
    (3)存储Web访问日志及错误日志等信息;
14
    
15
    
16
emptyDir优缺点:
17
    优点：
18
        (1)可以实现同一个Pod内多个容器之间数据共享;
19
        (2)当Pod内的某个容器被强制删除时，数据并不会丢失，因为Pod没有删除;
20
    缺点:
21
        (1)当Pod被删除时，数据也会被随之删除;
22
        (2)不同的Pod之间无法实现数据共享;
23
    
24
    
25
参考链接:
26
    https://kubernetes.io/docs/concepts/storage/volumes#emptydir
27
    
28
    
29
温馨提示:
30
    1）启动pods后，使用emptyDir其数据存储在"/var/lib/kubelet/pods"路径下对应的POD_ID目录哟！
31
        /var/lib/kubelet/pods/${POD_ID}/volumes/kubernetes.io~empty-dir/
32
    2）可以尝试验证上一步找到的目录，并探讨为什么Pod删除其数据会被随之删除的真正原因，见视频。

10.2.2 挂载单个存储卷

xxxxxxxxxx
31
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-linux80-volume
5
  labels:
6
     apps: myweb
7
spec:
8
  nodeName: k8s202.oldboyedu.com
9
  # 声明存储卷类型和名称
10
  volumes:
11
  - emptyDir: {}
12
    name: data01
13
  - name: data02
14
    emptyDir: {}
15
  - name: data03
16
    emptyDir: {}
17
  containers:
18
  - name: linux80-web
19
    image: k8s201.oldboyedu.com:5000/nginx:1.20.1
20
    # 挂载指定的存储卷
21
    volumeMounts:
22
      # 指定存储卷的名称
23
    - name: data01
24
      # 指定容器的挂载点.
25
      mountPath: /oldboyedu-linux80-data
26
  - name: linux80-linux
27
    image: k8s201.oldboyedu.com:5000/alpine
28
    stdin: true
29
    volumeMounts:
30
    - name: data01
31
      mountPath: /oldboyedu-linux-data-001

10.2.3 挂载多个存储卷

xxxxxxxxxx
35
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-linux80-volume-001
5
  labels:
6
     apps: myweb
7
spec:
8
  nodeName: k8s202.oldboyedu.com
9
  volumes:
10
  - emptyDir: {}
11
    name: data01
12
  - name: data02
13
    emptyDir: {}
14
  - name: data03
15
    emptyDir: {}
16
  containers:
17
  - name: linux80-web
18
    image: k8s201.oldboyedu.com:5000/nginx:1.20.1
19
    volumeMounts:
20
    - name: data01
21
      mountPath: /oldboyedu-linux80-data
22
    - name: data02
23
      mountPath: /oldboyedu-linux80-data002
24
    - name: data03
25
      mountPath: /oldboyedu-linux80-data003
26
  - name: linux80-linux
27
    image: k8s201.oldboyedu.com:5000/alpine
28
    stdin: true
29
    volumeMounts:
30
    - name: data01
31
      mountPath: /oldboyedu-linux-data-001
32
    - name: data02
33
      mountPath: /oldboyedu-linux-data-002
34
    - name: data03
35
      mountPath: /oldboyedu-linux-data-003

10.3 hostPath案例

10.3.1 hostPath概述

xxxxxxxxxx
18
1
hotsPath数据卷:
2
    挂载Node文件系统(Pod所在节点)上文件或者目录到Pod中的容器。如果Pod删除了，宿主机的数据并不会被删除。
3
​
4
​
5
应用场景:
6
    Pod中容器需要访问宿主机文件。
7
​
8
​
9
hotsPath优缺点:
10
    优点:
11
        (1)可以实现同一个Pod不同容器之间的数据共享;
12
        (2)可以实现同一个Node节点不同Pod之间的数据共享；
13
​
14
    缺点:
15
        无法满足跨节点Pod之间的数据共享。
16
​
17
推荐阅读:
18
    https://kubernetes.io/docs/concepts/storage/volumes/#hostpath

10.3.2 挂载文件案例

xxxxxxxxxx
24
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-linux80-volume-hostpath-01
5
  labels:
6
     apps: myweb
7
spec:
8
  nodeName: k8s202.oldboyedu.com
9
  # 声明存储卷类型和名称
10
  volumes:
11
  - name: data01
12
    hostPath: 
13
      # 指定宿主机的路径，如果源数据是文件
14
      path: /root/pods/config/nginx.conf
15
  containers:
16
  - name: linux80-web
17
    image: k8s201.oldboyedu.com:5000/nginx:1.20.1
18
    command: ["sleep","3600"]
19
    volumeMounts:
20
    - name: data01
21
      # 挂载点也必须是文件
22
      mountPath: /etc/nginx/nginx.conf
23
      # 以只读的方式挂载，默认值是false。
24
      # readOnly: true

10.3.3 挂载目录案例

xxxxxxxxxx
22
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-linux80-volume-hostpath-03
5
  labels:
6
     apps: myweb
7
spec:
8
  nodeName: k8s203.oldboyedu.com
9
  volumes:
10
  - name: data01
11
    hostPath: 
12
      # 如果源数据是目录
13
      path: /root/pods/config/
14
  containers:
15
  - name: linux80-web
16
    image: k8s201.oldboyedu.com:5000/nginx:1.20.1
17
    command: ["sleep","3600"]
18
    volumeMounts:
19
    - name: data01
20
      # 对应的挂载点应该也是目录
21
      mountPath: /etc/nginx/
22
      # readOnly: true

10.4 nfs案例

10.4.1 nfs概述

xxxxxxxxxx
11
1
NFS数据卷:
2
    提供对NFS挂载支持，可以自动将NFS共享路径挂载到Pod中。
3
​
4
​
5
NFS:
6
    英文全称为"Network File System"(网络文件系统)，是由SUN公司研制的UNIX表示层协议(presentation layer protocol)，能使使用者访问网络上别处的文件就像在使用自己的计算机一样。
7
    NFS是一个主流的文件共享服务器，但存在单点故障，我们需要对数据进行备份哟，如果有必要可以使用分布式文件系统哈。
8
​
9
​
10
推荐阅读:
11
    https://kubernetes.io/docs/concepts/storage/volumes/#nfs

10.4.2 部署nfs server

xxxxxxxxxx
18
1
(1)所有节点安装nfs相关软件包
2
yum -y install nfs-utils
3
​
4
(2)k8s151节点设置共享目录
5
mkdir -pv /oldboyedu/data/kubernetes
6
cat > /etc/exports <<'EOF'
7
/oldboyedu/data/kubernetes *(rw,no_root_squash)
8
EOF
9
​
10
(3)配置nfs服务开机自启动
11
systemctl enable --now nfs
12
​
13
(4)服务端检查NFS挂载信息，如上图所示。
14
exportfs
15
​
16
(5)客户端节点手动挂载测试
17
mount -t nfs k8s151.oldboyedu.com:/oldboyedu/data/kubernetes /mnt/
18
umount /mnt 

10.4.3 参考案例

xxxxxxxxxx
20
1
kind: Pod
2
apiVersion: v1
3
metadata:
4
  name: oldboyedu-linux80-volume-nfs-01
5
  labels:
6
     apps: myweb
7
spec:
8
  nodeName: k8s203.oldboyedu.com
9
  volumes:
10
  - name: myweb
11
    # 配置NFS挂载
12
    nfs: 
13
      server: 10.0.0.201
14
      path: /oldboyedu/data/kubernetes
15
  containers:
16
  - name: linux80-web
17
    image: k8s201.oldboyedu.com:5000/nginx:1.20.1
18
    volumeMounts:
19
    - name: myweb
20
      mountPath: /usr/share/nginx/html