目录
一、Statefulset控制器:概念、原理解读
有状态服务
无状态服务
StatefulSet部分组成
Headless service
二、Statefulset资源清单文件编写技巧
三、Statefulset使用案例:部署web站点
四、Statefulset管理pod:扩容、缩容、更新
Statefulset实现pod的动态扩容
Statefulset实现pod的动态缩容
Statefulset实现pod的更新
一、概述
二、 Kube-proxy的三种模式
2.1 userspace 模式
2.2 iptables 模式
2.3 ipvs 模式
三、Service资源类型
四、Service实战案例
实验环境准备
4.1 ClusterIP类型的Service
4.2 HeadLiness类型的Service
4.3 NodePort类型的Service
4.4 LoadBalancer类型的Service
4.5 ExternalName类型的Service
一、Statefulset控制器:概念、原理解读
StatefulSet是为了管理有状态服务的问题而设计的。
有状态服务
StatefulSet是有状态的集合,管理有状态的服务,它所管理的Pod的名称不能随意变化。数据持久化的目录也是不一样,每一个Pod都有自己独有的数据持久化存储目录。比如MySQL主从、redis集群等。
无状态服务
RC、Deployment、DaemonSet都是管理无状态的服务,它们所管理的Pod的IP、名字,启停顺序等都是随机的。个体对整体无影响,所有pod都是共用一个数据卷的,部署的tomcat就是无状态的服务,tomcat被删除,在启动一个新的tomcat,加入到集群即可,跟tomcat的名字无关。
StatefulSet部分组成
-
Headless Service:用来定义pod网路标识,生成可解析的DNS记录
-
volumeClaimTemplates:存储卷申请模板,创建pvc,指定pvc名称大小,自动创建pvc,且pvc由存储类供应。
-
StatefulSet:管理pod的
Headless service
Headless service不分配clusterIP,headless service可以通过解析service的DNS,返回所有Pod的dns和ip地址 (只有statefulSet部署的Pod才有DNS地址),普通的service,只能通过解析service的DNS返回service的ClusterIP。
为什么要用headless service(没有service ip的service)?
在使用Deployment时,创建的Pod名称是没有顺序的,是随机字符串,在用statefulset管理pod时要求pod名称必须是有序的 ,每一个pod不能被随意取代,pod重建后pod名称还是一样的。因为pod IP是变化的,所以要用Pod名称来识别。pod名称是pod唯一性的标识符,必须持久稳定有效。这时候要用到无头服务,它可以给每个Pod一个唯一的名称。
1、headless service会为service分配一个域名
<service name>.$<namespace name>.svc.cluster.local
K8s中资源的全局FQDN格式:
Service_NAME.NameSpace_NAME.Domain.LTD.Domain.LTD.=svc.cluster.local. #这是默认k8s集群的域名。
FQDN 全称 Fully Qualified Domain Name
即全限定域名:同时带有主机名和域名的名称
FQDN = Hostname + DomainName
如:主机名是 duoduo
域名是 [baidu.com](http://baidu.com/)
FQDN= duoduo.baidu.com.
#eg:
[root@k8s-master deployment]# dig nginx-deploy-svc.default.svc.cluster.local @10.96.0.10
; <<>> DiG 9.11.36-RedHat-9.11.36-14.el8_10 <<>> nginx-deploy-svc.default.svc.cluster.local @10.96.0.10
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 19414
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
; COOKIE: 16379d4770867ed4 (echoed)
;; QUESTION SECTION:
;nginx-deploy-svc.default.svc.cluster.local. IN A
;; ANSWER SECTION:
nginx-deploy-svc.default.svc.cluster.local. 30 IN A 10.97.172.98
;; Query time: 7 msec
;; SERVER: 10.96.0.10#53(10.96.0.10)
;; WHEN: 一 1月 13 01:25:21 EST 2025
;; MSG SIZE rcvd: 141
[root@k8s-master deployment]# kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 6d4h
nginx-deploy-svc NodePort 10.97.172.98 <none> 80:30676/TCP 2m20s
2、StatefulSet会为关联的Pod保持一个不变的Pod Name
statefulset中Pod的名字格式为 【 $(StatefulSet name)-$(pod序号) 】
3、StatefulSet会为关联的Pod分配一个dnsName
$<Pod Name>.$<service name>.$<namespace name>.svc.cluster.local
二、Statefulset资源清单文件编写技巧
#查看定义Statefulset资源需要的字段
[root@k8s-master01~]# kubectl explain statefulset
FIELDS:
apiVersion <string> #定义statefulset资源需要使用的api版本
kind <string> #定义的资源类型
metadata <Object> #元数据
spec <Object> #定义容器相关的信息
#查看statefulset.spec字段如何定义
[root@k8s-master01~]# kubectl explain statefulset.spec
FIELDS:
podManagementPolicy <string> #pod管理策略
replicas <integer> #副本数
revisionHistoryLimit <integer> #保留的历史版本
selector <Object> -required- #标签选择器,选择它所关联的pod
serviceName <string> -required- #headless service的名字
template <Object> -required- #生成pod的模板
updateStrategy <Object> #更新策略
volumeClaimTemplates <[]Object> #存储卷申请模板
#查看statefulset的spec.template字段如何定义?
#对于template而言,其内部定义的就是pod,pod模板是一个独立的对象
[root@k8s-master01~]# kubectl explain statefulset.spec.template
FIELDS:
metadata <Object>
spec <Object> #定义容器属性的
通过上面可以看到,statefulset资源中有两个spec字段。第一个spec声明的是statefulset定义多少个Pod副本(默认将仅部署1个Pod)、匹配Pod标签的选择器、创建pod的模板、存储卷申请模板,第二个spec是spec.template.spec:主要用于Pod里的容器属性等配置。
.spec.template里的内容是声明Pod对象时要定义的各种属性,所以这部分也叫做PodTemplate(Pod模板)。还有一个值得注意的地方是:在.spec.selector中定义的标签选择器必须能够匹配到spec.template.metadata.labels里定义的Pod标签,否则Kubernetes将不允许创建statefulset。
三、Statefulset使用案例:部署web站点
#编写一个Statefulset资源清单文件
[root@k8s-master01~]# cat statefulset.yaml
apiVersion: v1
kind: Service
metadata:name: nginx-svclabels:app: nginx
spec:ports:- port: 80name: webclusterIP: "None"selector:app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:name: web
spec:selector:matchLabels:app: nginxserviceName: "nginx-svc"replicas: 2template:metadata:labels:app: nginxspec:containers:- name: nginximage: nginximagePullPolicy: IfNotPresentports:- containerPort: 80name: web
#更新资源清单文件
[root@k8s-master01~]# kubectl apply -f statefulset.yaml
service/nginx created
statefulset.apps/web created
#查看statefulset是否创建成功
[root@k8s-master01~]# kubectl get statefulset
NAME READY AGE
web 2/2 42s
#查看pod
[root@k8s-master01~]# kubectl get pods -l app=nginx
NAME READY STATUS RESTARTS AGE
web-0 1/1 Running 0 2m17s
web-1 1/1 Running 0 115s
#通过上面可以看到创建的pod是有序的
#查看headless service
[root@k8s-master01~]# kubectl get svc -l app=nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nginx ClusterIP None <none> 80/TCP 3m19s
#查看pvc
[root@k8s-master01~]# kubectl get pvc
#查看pod主机名
[root@k8s-master01~]# for i in 0 1; do kubectl exec web-$i -- sh -c 'hostname';done
web-0
web-1
#使用k运行一个提供nslookup命令的容器(bubybox:1.28),这个命令来自于dnsutils包,通过对pod主机名执行nslookup,可以检查它们在集群内部的DNS地址:
[root@hd1 ~]# cat pod-second.yaml
apiVersion: v1
kind: Pod
metadata:name: pod-secondlabels:app: backendtier: db
spec:containers:- name: busyboximage: busybox:1.28imagePullPolicy: IfNotPresentcommand: ["sh","-c","sleep 3600"]
[root@hd1 ~]# kubectl apply -f pod-second.yaml
[root@hd1 ~]# kubectl exec -it pod-second -- /bin/sh
/ # nslookup web-0.nginx.default.svc.cluster.local
Server: 10.10.0.10
Address 1: 10.10.0.10 kube-dns.kube-system.svc.cluster.local
Name: web-0.nginx.default.svc.cluster.local
Address 1: 10.10.156.137 web-0.nginx.default.svc.cluster.local
/ #
#statefulset创建的pod也是有dns记录的
Address: 10.10.209.154 #解析的是pod的ip地址,还可以解析 nginx.default.svc.cluster.local
/ # nslookup nginx.default.svc.cluster.local
Server: 10.10.0.10
Address 1: 10.10.0.10 kube-dns.kube-system.svc.cluster.local
Name: nginx.default.svc.cluster.local
Address 1: 10.10.25.245 web-1.nginx.default.svc.cluster.local
Address 2: 10.10.156.137 web-0.nginx.default.svc.cluster.local
/ #
举例说明service 和headless service区别?
#通过deployment创建pod,pod前端创建一个service
[root@k8s-master01~]# cat deploy-service.yaml
apiVersion: v1
kind: Service
metadata:
name: my-nginx
labels:
run: my-nginx
spec:
type: ClusterIP
ports:
- port: 80 #service的端口,暴露给k8s集群内部服务访问
protocol: TCP
targetPort: 80 #pod容器中定义的端口
selector:
run: my-nginx #选择拥有run=my-nginx标签的pod
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-nginx
spec:
selector:
matchLabels:
run: my-nginx
replicas: 2
template:
metadata:
labels:
run: my-nginx
spec:
containers:
- name: my-nginx
image: busybox
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
command:
- sleep: 0"
#更新资源清单文件
[root@k8s-master01~]# kubectl apply -f deploy-service.yaml
#查看service
[root@k8s-master01~]# kubectl get svc -l run=my-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)
my-nginx ClusterIP 10.100.89.90 <none> 80/TCP
#查看pod
[root@k8s-master01~]# kubectl get pods -l run=my-nginx
NAME READY STATUS RESTARTS AGE
my-nginx-58f74fc5b6-jzbvk 1/1 Running 0 70s
my-nginx-58f74fc5b6-n9lqv 1/1 Running 0 53s
#通过上面可以看到deployment创建的pod是随机生成的
#进入到web-1的pod
[root@k8s-master01~]# kubectl exec -it web-1 -- /bin/bash
root@web-1:/# nslookup my-nginx.default.svc.cluster.local
Server: 10.10.0.10
Address: 10.10.0.10#53
Name: my-nginx.default.svc.cluster.local
Address: 10.100.89.90 #解析的是service的ip地址
四、Statefulset管理pod:扩容、缩容、更新
Statefulset实现pod的动态扩容
如果我们觉得两个副本太少了,想要增加,只需要修改配置文件statefulset.yaml里的replicas的值即可,原来replicas: 2,现在变成replicaset: 3,修改之后,执行如下命令更新:
[root@k8s-master01~]# kubectl apply -f statefulset.yaml
service/nginx unchanged
statefulset.apps/web configured
[root@k8s-master01~]# kubectl get sts
NAME READY AGE
web 3/3 60m
[root@k8s-master01~]# kubectl get pods -l app=nginx
NAME READY STATUS RESTARTS AGE
web-0 1/1 Running 0 61m
web-1 1/1 Running 0 60m
web-2 1/1 Running 0 79s
#也可以直接编辑控制器实现扩容
[root@k8s-master01~]# kubectl edit sts web
#这个是我们把请求提交给了apiserver,实时修改,把上面的spec下的replicas 后面的值改成4,保存退出
[root@k8s-master01~]# kubectl get pods -l app=nginx
NAME READY STATUS RESTARTS AGE
web-0 1/1 Running 0 62m
web-1 1/1 Running 0 62m
web-2 1/1 Running 0 3m13s
web-3 1/1 Running 0 26s
Statefulset实现pod的动态缩容
如果我们觉得4个Pod副本太多了,想要减少,只需要修改配置文件statefulset.yaml里的replicas的值即可,把replicaset:4变成replicas: 2,修改之后,执行如下命令更新:
[root@k8s-master01~]# kubectl apply -f statefulset.yaml
service/nginx unchanged
statefulset.apps/web configured
[root@k8s-master01~]# kubectl get pods -l app=nginx
NAME READY STATUS RESTARTS AGE
web-0 1/1 Running 0 64m
web-1 1/1 Running 0 64m
Statefulset实现pod的更新
myapp.tar.gz上传到k8s-worker01上,手动解压[root@k8s-worker01 ~]# docker load -i myapp.tar.gz
[root@k8s-master01~]# kubectl edit sts web
#修改镜像nginx变成- image: ikubernetes/myapp:v2,修改之后保存退出
[root@k8s-master01~]# kubectl get pods -o wide -l app=nginx
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
web-0 1/1 Running 0 18s 10.10.209.156 k8s-worker01
web-1 1/1 Running 0 36s 10.10.187.115 k8s-worker02
#查看pod详细信息
[root@k8s-master01~]# kubectl describe pods web-0
#可以看到pod已经使用刚才更新的镜像ikubernetes/myapp:v2
一、概述
在kubernetes中,pod是应用程序的载体,我们可以通过pod的ip来访问应用程序,但是pod的ip地址不是固定的,这也就意味着不方便直接采用pod的ip对服务进行访问。
为了解决这个问题,kubernetes提供了Service资源,Service会对提供同一个服务的多个pod进行聚合,并且提供一个统一的入口地址。通过访问Service的入口地址就能访问到后面的pod服务。 Service在很多情况下只是一个概念,真正起作用的其实是kube-proxy服务进程,每个Node节点上都运行着一个kube-proxy服务进程。当创建Service的时候会通过api-server向etcd写入创建的service的信息,而kube-proxy会基于监听的机制发现这种Service的变动,然后它会将最新的Service信息转换成对应的访问规则。
二、 Kube-proxy的三种模式
2.1 userspace 模式
userspace模式下,kube-proxy会为每一个Service创建一个监听端口,发向Cluster IP的请求被Iptables规则重定向到kube-proxy监听的端口上,kube-proxy根据LB(LoadBalance,负载均衡)算法选择一个提供服务的Pod并和其建立链接,以将请求转发到Pod上。 该模式下,kube-proxy充当了一个四层负载均衡器的角色。由于kube-proxy运行在userspace中,在进行转发处理时会增加内核和用户空间之间的数据拷贝,虽然比较稳定,但是效率比较低。
2.2 iptables 模式
iptables模式下,kube-proxy为service后端的每个Pod创建对应的iptables规则,直接将发向Cluster IP的请求重定向到一个Pod IP。 该模式下kube-proxy不承担四层负载均衡器的角色,只负责创建iptables规则。该模式的优点是较userspace模式效率更高,但不能提供灵活的LB策略,当后端Pod不可用时也无法进行重试。
2.3 ipvs 模式
ipvs模式和iptables类似,kube-proxy监控Pod的变化并创建相应的ipvs规则。ipvs相对iptables转发效率更高。除此以外,ipvs支持更多的LB算法。
# 此模式必须安装ipvs内核模块(集群部署的时候已安装),否则会降级为iptables
# 开启ipvs,cm: configmap
[root@k8s-master01 ~]# kubectl edit cm kube-proxy -n kube-system
# 修改mode: "ipvs"
[root@k8s-master01 ~]# kubectl delete pod -l k8s-app=kube-proxy -n kube-system
[root@node1 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 172.16.32.128:30080 rr-> 172.16.79.79:80 Masq 1 0 0
TCP 172.16.32.128:32665 rr-> 172.16.79.82:8443 Masq 1 0 0
TCP 172.17.0.1:30080 rr-> 172.16.79.79:80 Masq 1 0 0
TCP 172.17.0.1:32665 rr-> 172.16.79.82:8443 Masq 1 0 0
TCP 192.168.115.161:30080 rr-> 172.16.79.79:80 Masq 1 0 0
TCP 192.168.115.161:32665 rr-> 172.16.79.82:8443 Masq 1 0 0
TCP 192.168.115.166:30080 rr-> 172.16.79.79:80 Masq 1 0 0
TCP 192.168.115.166:32665 rr-> 172.16.79.82:8443 Masq 1 0 0
TCP 10.10.0.1:443 rr-> 192.168.115.161:6443 Masq 1 0 0 -> 192.168.115.162:6443 Masq 1 0 0 -> 192.168.115.163:6443 Masq 1 1 0
TCP 10.10.0.10:53 rr-> 172.16.122.139:53 Masq 1 0 0 -> 172.16.122.140:53 Masq 1 0 0
TCP 10.10.0.10:9153 rr-> 172.16.122.139:9153 Masq 1 0 0 -> 172.16.122.140:9153 Masq 1 0 0
TCP 10.10.39.128:8000 rr-> 172.16.79.80:8000 Masq 1 0 0
TCP 10.10.128.23:443 rr-> 172.16.79.81:443 Masq 1 0 0
TCP 10.10.166.16:8000 rr-> 172.16.79.79:80 Masq 1 0 0
TCP 10.10.195.192:443 rr-> 172.16.79.82:8443 Masq 1 0 0
UDP 10.10.0.10:53 rr-> 172.16.122.139:53 Masq 1 0 0 -> 172.16.122.140:53 Masq 1 0 0
三、Service资源类型
常见的Service资源清单
apiVersion: v1
kind: Service
matadata: #元数据name: string #service的名称namespace: string #命名空间 labels: #自定义标签属性列表- name: stringannotations: #自定义注解属性列表 - name: string
spec: #详细描述selector: [] #label selector配置,将选择具有label标签的Pod作为管理范围type: string #service的类型,指定service的访问方式,默认为clusterIp clusterIP: string #虚拟服务地址 sessionAffinity: string #是否支持sessionports: #service需要暴露的端口列表- name: string #端口名称protocol: string #端口协议,支持TCP和UDP,默认TCPport: int #服务监听的service端口号targetPort: int #需要转发到后端Pod的端口号nodePort: int #当type = NodePort时,指定映射到物理机的端口号status: #当spce.type=LoadBalancer时,设置外部负载均衡器的地址loadBalancer: #外部负载均衡器 ingress: #外部负载均衡器 ip: string #外部负载均衡器的Ip地址值hostname: string #外部负载均衡器的主机名
资源清单案例
apiVersion: v1 # 资源版本
kind: Service # 资源类型
metadata: # 元数据name: service # 资源名称namespace: dev # 命名空间
spec: # 描述selector: # 标签选择器,用于确定当前service代理哪些podapp: nginxtype: # Service类型,指定service的访问方式clusterIP: # 虚拟服务的ip地址sessionAffinity: # session亲和性,支持ClientIP、None两个选项ports: # 端口信息- protocol: TCP port: 3017 # service端口targetPort: 5003 # pod端口nodePort: 31122 # 主机端口
Service中的service.spec.type类型
类型 | 含义 |
---|---|
ClusterIP | 意味着服务仅在集群内部可用,只能通过集群IP访问。 |
ExternalName | 意味着服务仅包含一个对外部名称的引用,Kubedns或等价物将返回作为CNAME记录,不会涉及任何容器的暴露或代理。 |
LoadBalancer | 意味着服务将通过外部负载均衡器(如果云提供商支持的话)进行暴露,除了NodePort类型之外。 |
NodePort | 意味着服务将在每个节点的一个端口上进行暴露,除了ClusterIP类型之外。 |
Service中的三类IP地址
IP类型 | 作用 |
---|---|
Node IP | 节点IP是Kubernetes集群中每个节点的唯一标识符。它代表了节点的网络接口,用于在集群内部进行通信。节点IP通常是一个私有IP地址范围,用于在集群内部进行通信。节点IP是Service在集群内部提供服务的唯一标识,用于路由流量到指定的Pod。 |
Pod IP | Pod IP是Kubernetes中每个Pod的唯一标识符。它代表了Pod的网络接口,用于在集群内部进行通信。Pod IP通常是一个私有IP地址范围,用于在集群内部进行通信。Pod IP是Service在集群内部提供服务的唯一标识,用于路由流量到指定的Pod。 |
Cluster IP | Cluster IP是Kubernetes集群中Service的IP地址。它代表了Service在集群内部提供的服务,用于在集群内部进行通信。Cluster IP通常是一个私有IP地址范围,用于在集群内部进行通信。Cluster IP是Service在集群内部提供服务的唯一标识,用于路由流量到指定的Pod。 |
综上所述,Kubernetes中的三类IP地址分别是Node IP、Pod IP和Cluster IP。这些IP地址用于在不同网络之间路由流量,以便外部和内部应用程序可以访问Kubernetes集群中的服务和Pod。
四、Service实战案例
实验环境准备
在使用service之前,首先利用Deployment创建出3个pod,注意要为pod设置app=nginx-pod的标签
创建deployment.yaml,内容如下:
apiVersion: apps/v1
kind: Deployment
metadata:name: pc-deploymentnamespace: dev
spec: replicas: 3selector:matchLabels:app: nginx-podtemplate:metadata:labels:app: nginx-podspec:containers:- name: nginximage: nginxports:- containerPort: 80
[root@k8s-master01 ~]# kubectl create -f deployment.yaml
deployment.apps/pc-deployment created
# 查看pod详情
[root@k8s-master01 ~]# kubectl get pods -n dev -o wide --show-labels
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES LABELS
pc-deployment-59c564ffb7-8vzp5 1/1 Running 0 89s 172.16.79.83 k8s-worker01 <none> <none> app=nginx-pod,pod-template-hash=59c564ffb7
pc-deployment-59c564ffb7-fg2j8 1/1 Running 0 89s 172.16.69.206 k8s-worker02 <none> <none> app=nginx-pod,pod-template-hash=59c564ffb7
pc-deployment-59c564ffb7-sprp7 1/1 Running 0 89s 172.16.69.207 k8s-worker02 <none> <none> app=nginx-pod,pod-template-hash=59c564ffb7
# 为了方便后面的测试,修改下三台nginx的index.html页面(三台修改的IP地址不一致)
[root@k8s-master01 ~]# kubectl exec -it pc-deployment-59c564ffb7-8vzp5 -n dev -- /bin/sh
root@pc-deployment-59c564ffb7-8vzp5:/# echo "172.16.79.83" > /usr/share/nginx/html/index.html
[root@k8s-master01 ~]# kubectl -n dev exec -it pc-deployment-59c564ffb7-fg2j8 -- /bin/bash
root@pc-deployment-59c564ffb7-fg2j8:/# echo "172.16.69.206" > /usr/share/nginx/html/index.html
[root@k8s-master01 ~]# kubectl -n dev exec -it pc-deployment-59c564ffb7-sprp7 -- /bin/bash
root@pc-deployment-59c564ffb7-sprp7:/# echo "172.16.69.207" > /usr/share/nginx/html/index.html
#修改完毕之后,访问测试
[root@k8s-master01 ~]# curl 172.16.79.83
172.16.79.83
[root@k8s-master01 ~]# curl 172.16.69.206
172.16.69.206
[root@k8s-master01 ~]# curl 172.16.69.207
172.16.69.207
4.1 ClusterIP类型的Service
创建service-clusterip.yaml文件apiVersion: v1
kind: Service
metadata:name: service-clusteripnamespace: dev
spec:selector:app: nginx-podclusterIP: 10.10.97.97 # service的ip地址,如果不写,默认会生成一个type: ClusterIPports:- port: 80 # Service端口 targetPort: 80 # pod端口# 创建service
[root@k8s-master01 ~]# kubectl create -f service-clusterip.yaml
service/service-clusterip created
# 查看service
[root@k8s-master01 ~]# kubectl get svc -n dev
[root@k8s-master01 ~]# kubectl -n dev get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service-clusterip ClusterIP 10.10.97.97 <none> 8001/TCP 10s
# 查看service的详细信息
# 在这里有一个Endpoints列表,里面就是当前service可以负载到的服务入口
[root@k8s-master01 ~]# kubectl describe service -n dev
Name: service-clusterip
Namespace: dev
Labels: <none>
Annotations: <none>
Selector: app=nginx-pod
Type: ClusterIP
IP Family Policy: SingleStack
IP Families: IPv4
IP: 10.10.97.97
IPs: 10.10.97.97
Port: <unset> 8001/TCP
TargetPort: 80/TCP
Endpoints: 172.16.69.206:80,172.16.69.207:80,172.16.79.83:80
Session Affinity: None
Events: <none>
# 查看ipvs的映射规则
[root@k8s-master01 ~]# ipvsadm -Ln
TCP 10.97.97.97:80 rr-> 10.10.1.39:80 Masq 1 0 0-> 10.10.1.40:80 Masq 1 0 0-> 10.10.2.33:80 Masq 1 0 0
# 访问10.10.97.97:8001观察效果
[root@k8s-master01 ~]# curl 10.10.97.97:8001
172.16.79.83
[root@k8s-master01 ~]# curl 10.10.97.97:8001
172.16.69.207
[root@k8s-master01 ~]# curl 10.10.97.97:8001
172.16.69.206
Endpoint解析
-
Endpoint是kubernetes中的一个资源对象,存储在etcd中,用来记录一个service对应的所有pod的访问地址,它是根据service配置文件中selector描述产生的。
-
一个Service由一组Pod组成,这些Pod通过Endpoints暴露出来,Endpoints是实现实际服务的端点集合。换句话说,service和pod之间的联系是通过endpoints实现的。
负载分发策略
对Service的访问被分发到了后端的Pod上去,目前kubernetes提供了两种负载分发策略:
-
如果不定义,默认使用kube-proxy的策略,比如随机、轮询
-
基于客户端地址的会话保持模式,即来自同一个客户端发起的所有请求都会转发到固定的一个Pod上
# 查看ipvs的映射规则【rr 轮询】
[root@k8s-master01 ~]# ipvsadm -Ln
TCP 10.97.97.97:80 rr-> 10.10.1.39:80 Masq 1 0 0-> 10.10.1.40:80 Masq 1 0 0-> 10.10.2.33:80 Masq 1 0 0
# 循环访问测试
[root@k8s-master01 ~]# while true;do curl 10.97.97.97:80; sleep 5; done;
10.10.1.40
10.10.1.39
10.10.2.33
10.10.1.40
10.10.1.39
10.10.2.33
# 修改分发策略----sessionAffinity:ClientIP
# 查看ipvs规则【persistent 代表持久】
[root@k8s-master01 ~]# ipvsadm -Ln
TCP 10.97.97.97:80 rr persistent 10800-> 10.10.1.39:80 Masq 1 0 0-> 10.10.1.40:80 Masq 1 0 0-> 10.10.2.33:80 Masq 1 0 0
# 循环访问测试
[root@k8s-master01 ~]# while true;do curl 10.97.97.97; sleep 5; done;
10.10.2.33
10.10.2.33
10.10.2.33# 删除service
[root@k8s-master01 ~]# kubectl delete -f service-clusterip.yaml
service "service-clusterip" deleted
[root@k8s-master01 ~]# kubectl delete service service-clusterip -n dev
service "service-clusterip" deleted
4.2 HeadLiness类型的Service
在某些场景中,开发人员可能不想使用Service提供的负载均衡功能,而希望自己来控制负载均衡策略,针对这种情况,kubernetes提供了HeadLiness Service,这类Service不会分配Cluster IP,如果想要访问service,只能通过service的域名进行查询。
创建service-headliness.yaml
apiVersion: v1
kind: Service
metadata:name: service-headlinessnamespace: dev
spec:selector:app: nginx-podclusterIP: None # 将clusterIP设置为None,即可创建headliness Servicetype: ClusterIPports:- port: 80 targetPort: 80
# 创建service
[root@k8s-master01 ~]# kubectl apply -f deployment-nginx-headliness.yaml
service/service-headliness created
# 获取service, 发现CLUSTER-IP未分配
[root@k8s-master01 ~]# kubectl -n dev get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service-headliness ClusterIP None <none> 80/TCP 10s
# 查看service详情
[root@k8s-master01 ~]# kubectl describe svc -n dev
Name: service-headliness
Namespace: dev
Labels: <none>
Annotations: <none>
Selector: app=nginx-pod
Type: ClusterIP
IP Family Policy: SingleStack
IP Families: IPv4
IP: None
IPs: None
Port: <unset> 80/TCP
TargetPort: 80/TCP
Endpoints: 172.16.69.206:80,172.16.69.207:80,172.16.79.83:80
Session Affinity: None
Events: <none>
# 查看域名的解析情况
[root@k8s-master01 ~]# kubectl -n dev exec -it pc-deployment-59c564ffb7-8vzp5 -- /bin/bash
[root@k8s-master01 ~]# kubectl -n dev exec -it pc-deployment-59c564ffb7-8vzp5 -- /bin/bash
root@pc-deployment-59c564ffb7-8vzp5:/#
root@pc-deployment-59c564ffb7-8vzp5:/# cat /etc/resolv.conf
search dev.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.10.0.10
options ndots:5
[root@k8s-master01 ~]# dig @10.96.0.10 service-headliness.dev.svc.cluster.local
service-headliness.dev.svc.cluster.local. 30 IN A 172.16.79.83
service-headliness.dev.svc.cluster.local. 30 IN A 172.16.69.206
service-headliness.dev.svc.cluster.local. 30 IN A 172.16.69.207
#删除service
[root@k8s-master01 ~]# kubectl delete -n dev svc service-headliness
service "service-headliness" deleted
4.3 NodePort类型的Service
在之前的样例中,创建的Service的ip地址只有集群内部才可以访问,如果希望将Service暴露给集群外部使用,那么就要使用到另外一种类型的Service,称为NodePort类型。NodePort的工作原理其实就是将service的端口映射到Node的一个端口上,然后就可以通过NodeIp:NodePort来访问service了。
创建service-nodeport.yaml
apiVersion: v1
kind: Service
metadata:name: service-nodeportnamespace: dev
spec:selector:app: nginx-podtype: NodePort # service类型ports:- port: 80nodePort: 30002 # 指定绑定的node的端口(默认的取值范围是:30000-32767), 如果不指定,会默认分配targetPort: 80# 创建service
[root@k8s-master01 ~]# kubectl apply -f deployment-nginx-nodeport.yaml
service/service-nodeport created
# 查看service
[root@k8s-master01 ~]# kubectl -n dev get svc -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service-nodeport NodePort 10.10.25.194 <none> 80:30002/TCP 29s app=nginx-pod
# 接下来可以通过电脑主机的浏览器去访问集群中任意一个nodeip的30002端口,即可访问到pod
#删除service
[root@k8s-master01 ~]# kubectl delete -n dev svc service-nodeport
service "service-nodeport" deleted
4.4 LoadBalancer类型的Service
LoadBalancer和NodePort很相似,目的都是向外部暴露一个端口,区别在于LoadBalancer会在集群的外部再来做一个负载均衡设备,而这个设备需要外部环境支持的,外部服务发送到这个设备上的请求,会被设备负载之后转发到集群中。
4.5 ExternalName类型的Service
ExternalName类型的Service用于引入集群外部的服务,它通过externalName属性指定外部一个服务的地址,然后在集群内部访问此service就可以访问到外部的服务了。
创建service-externalname.yaml
apiVersion: v1
kind: Service
metadata:name: service-externalname
spec:type: ExternalName # service类型externalName: www.baidu.com # 创建service
[root@k8s-master01 ~]# kubectl apply -f deployment-nginx-externalname.yaml
service/service-externalname created
[root@k8s-master01 ~]# kubectl -n dev get svc -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
service-externalname ExternalName <none> www.baidu.com <none> 7s <none>
[root@k8s-master01 ~]# kubectl describe -n dev svc
Name: service-externalname
Namespace: dev
Labels: <none>
Annotations: <none>
Selector: <none>
Type: ExternalName
IP Families: <none>
IP:
IPs: <none>
External Name: www.baidu.com
Session Affinity: None
Events: <none>
# 域名解析
[root@k8s-master01 ~]# dig @10.10.0.10 service-externalname.dev.svc.cluster.local
; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el7_9.15 <<>> @10.10.0.10 service-externalname.dev.svc.cluster.local
; (1 server found)
;; global options: +cmd
;; Got answer:
;; WARNING: .local is reserved for Multicast DNS
;; You are currently testing what happens when an mDNS query is leaked to DNS
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 33580
;; flags: qr aa rd; QUERY: 1, ANSWER: 4, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;service-externalname.dev.svc.cluster.local. IN A
;; ANSWER SECTION:
service-externalname.dev.svc.cluster.local. 5 IN CNAME www.baidu.com.
www.baidu.com. 5 IN CNAME www.a.shifen.com.
www.a.shifen.com. 5 IN A 39.156.66.18
www.a.shifen.com. 5 IN A 39.156.66.14
;; Query time: 127 msec
;; SERVER: 10.10.0.10#53(10.10.0.10)
;; WHEN: 四 1月 25 15:04:37 CST 2024
;; MSG SIZE rcvd: 247