一、LVS的使用
lvs部署命令介绍
lvs软件相关信息:
程序包:ipvsadm
Unit File: ipvsadm.service
主程序:/usr/sbin/ipvsadm
规则保存工具:/usr/sbin/ipvsadm-save
规则重载工具:/usr/sbin/ipvsadm-restore
配置文件:/etc/sysconfig/ipvsadm-config
ipvs调度规则文件:/etc/sysconfig/ipvsadm
ipvsadm命令
核心功能:
- 集群服务管理:增、删、改
- 集群服务的RS管理:增、删、改
- 查看
命令参数:
管理集群服务
ipvsadm -A|E -t(tcp)|u(udp)|f(防护墙标签) \
service-address(集群地址) \
[-s scheduler(调度算法)] \
[-p [timeout]] \
[-M netmask] \
[--pepersistence_engine] \
[-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm –C 清空
ipvsadm –R 重载
ipvsadm -S [-n] 保存
管理集群中的real server
ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w
weight](权重)
ipvsadm -d -t|u|f service-address -r server-address 删除RS
ipvsadm -L|l [options] 查看rs
ipvsadm -Z [-t|u|f service-address] 清楚计数器
lvs集群中的增删改
1.管理集群服务中的增删改
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
-A #添加
-E #修改
-t #tcp服务
-u #udp服务
-s #指定调度算法,默认为WLC
-p #设置持久连接超时,持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver
-f #firewall mask 火墙标记,是一个数字
2.管理集群中RealServer的曾增删改
ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]
参数:
-a #添加realserver
-e #更改realserver
-t #tcp协议
-u #udp协议
-f #火墙 标签
-r #realserver地址
-g #直连路由模式
-i #ipip隧道模式
-m #nat模式
-w #设定权重
-Z #清空计数器
-C #清空lvs策略
-L #查看lvs策略
-n #不做解析
--rate :输出速率信息
ipvs的备份及恢复
随便配置了一些策略:
备份:
恢复:
让服务开机时加载策略
二、lvs(Linux virtual server)运行原理
1.lvs简介
LVS:Linux Virtual Server,负载调度器,内核集成,章文嵩,阿里的四层SLB(Server LoadBalance)是基 于LVS+keepalived实现
LVS 官网: http://www.linuxvirtualserver.org/
LVS 相关术语
- VS: Virtual Server,负责调度
- RS:RealServer,负责真正提供服务
工作原理:
VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS
2.LVS概念
VS:Virtual Server
RS:Real Server
CIP:Client IP
VIP: Virtual serve IP VS外网的IP
DIP: Director IP VS内网的IP
RIP: Real server IP
访问流程:CIP <--> VIP == DIP <--> RIP
3.lvs集群的类型
lvs-nat: 修改请求报文的目标IP,多目标IP的DNAT
lvs-dr: 操纵封装新的MAC地址
lvs-tun: 在原请求IP报文之外新加一个IP首部
lvs-fullnat: 修改请求报文的源和目标IP
4.LVS工作模式总结
NAT模式 | TUN模式 | DR模式 | |
RS操作系统 | 不限 | 支持隧道 | 禁用arp |
调度器和服务器网络 | 可跨网络 | 可跨网络 | 不可跨网络 |
调度服务器数量服务器数量 | 少 | 多 | 多 |
RS服务器网关 | 指向到调度器DIP | 指向到路由 | 指向到路由 |
lvs-nat与lvs-fullnat:请求和响应报文都经由Director
lvs-nat:RIP的网关要指向DIP
lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信
lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信
三、配置实验策略
nat模式
实验环境
主机名 仅主机 NAT 角色
lvs 192.168.0.100 172.25.254.100 调度器(VS)
RS1 192.168.0.10,网关192.168.0.100 null 真实服务器(RS)
RS2 192.168.0.20,网关192.168.0.100 null 真实服务器(RS)
client 172.25.254.66 客户端
在lvs中启用内核路由功能:
]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf
]# sysctl -p
在两个RS上:
先安装httpd并编写默认发布文件
在lvs中安装ipvsadm:
实验环境可以直接关闭lvs主机和两RS主机的火墙:
ipvsadm策略配置:
测试:
DR模式
DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源 IP/PORT,以及目标IP/PORT均保持不变
在DR模式中,RS接收到访问请求后不需要回传给VS调度器,直接把回传数据发送给client,所以RS和vs 上都要有vip
1.客户端发送数据帧给vs调度主机帧中内容为CIP+CIP-MAC+VIP+VIP的MAC
2.VS调度主机接收到数据帧后把帧中的源CIP-MAC改为lvs的MAC,目的地lvs的MAC改为RS的MAC此时帧中的数据为CIP+lvs-MAC+VIP+RS-MAC
3.RS得到2中的数据包做出响应回传数据包,数据包中的内容还原回VIP+lvs-MAC+CIP+CIP-MAC
环境:
client主机
NAT-eth0
address=172.25.254.66/24,172.25.254.100
route主机
NAT-eth0
address=172.25.254.100/24仅主机-eth1
address1=192.168.0.100/24
lvs主机
仅主机-eth0
address1=192.168.0.200/24,192.168.0.100
address2=192.168.0.220/24lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32
RS1主机
仅主机-eth0
address=192.168.0.10/24,192.168.0.100lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32
RS2主机
仅主机-eth0
address=192.168.0.20/24,192.168.0.100lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32
route主机要开启内核路由功能和火墙以运行路由策略:
]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf
]# sysctl -p
确保每台主机ping都可以互相通信
在两个RS主机中设定lo不对外响应:
↑为了解决vip响应问题
DR模型中各主机上均需要配置VIP,解决地址冲突的方式有三种:
(1)在前端网关做静态绑定
(2)在各RS使用arptables
(3)在各RS修改内核参数,来限制arp响应和通告的级别
限制响应级别:arp_ignore
0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
限制通告级别:arp_announce
0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
1:尽量避免将接口信息向非直接连接网络进行通告
2:必须避免将接口信息向非本网络进行通告
实验环境可以直接关闭lvs主机和两RS主机的火墙:
在lvs中配置策略:
测试: