基于nginx的keepalived 高可用项目实战

Onida ·

更新时间:2024-09-20

· 668 次阅读

1.Keepalived VRRP 介绍

keepalived是什么
    keepalived是集群管理中保证集群高可用的一个服务软件，用来防止单点故障。
keepalived工作原理
    keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。（云服务器不支持VRRP）
    虚拟路由冗余协议，可以认为是实现高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
=========================================================================================
脑裂(裂脑)：
Keepalived的BACKUP主机在收到不MASTER主机报文后就会切换成为master，如果是它们之间的通信线路出现问题，无法接收到彼此的组播通知，但是两个节点实际都处于正常工作状态，这时两个节点均为master强行绑定虚拟IP，导致不可预料的后果，这就是脑裂。
解决方式:
1、添加更多的检测手段，比如冗余的心跳线（两块网卡做健康监测），ping对方等等。尽量减少"裂脑"发生机会。(指标不治本，只是提高了检测到的概率)；
2、做好对裂脑的监控报警（如邮件及手机短信等或值班）.在问题发生时人为第一时间介入仲裁，降低损失。例如，百度的监控报警短倍就有上行和下行的区别。报警消息发送到管理员手机上，管理员可以通过手机回复对应数字或简单的字符串操作返回给服务器.让服务器根据指令自动处理相应故障，这样解决故障的时间更短.
3、爆头，将master停掉。然后检查机器之间的防火墙。网络之间的通信

2.项目准备

准备四台虚拟机，两台做代理服务器，两台做真实服务器（真实服务器只是用来进行web测试）
1、选择两台nginx服务器作为代理服务器（一台master 一台backup）。
真实服务器也需要nginx来提供web服务
2、给两台代理服务器安装keepalived制作高可用生成VIP
3、配置nginx的负载均衡
以上两台nginx服务器配置文件一致
根据站点分区进行调度
配置upstream文件

[root@localhost ~]# 192.168.13.128                主节点
[root@backup ~]# 192.168.13.129                   备用节点
[root@real-server1 ~]# 192.168.13.133             第一台真实服务器
[root@real-server2 ~]# 192.168.13.137             第二台真实服务器

3.nginx安装以及负载均衡的实现

Nginx通过Upstream模块实现负载均衡
upstream 支持的负载均衡算法

轮询（默认）:可以通过weight指定轮询的权重，权重越大，被调度的次数越多
ip_hash：可以实现会话保持，将同一客户的IP调度到同一样后端服务器，可以解决session的问题，不能使用weight
fair：可以根据请求页面的大小和加载时间长短进行调度，使用第三方的upstream_fair模块
url_hash：按请求的url的hash进行调度，从而使每个url定向到同一服务器，使用第三方的url_hash模块

配置安装nginx 所有的机器，关闭防火墙和selinux
[root@localhost ~]# systemctl stop firewalld && setenforce 0
[root@localhost ~]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# vim nginx.repo
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=0
enabled=1
[root@localhost yum.repos.d]# yum install yum-utils -y
[root@localhost yum.repos.d]# yum install nginx -y
[root@localhost yum.repos.d]# systemctl start nginx  #启动

两台代理服务器实现负载均衡

192.168.13.128
[root@localhost ~]# cd /etc/nginx/conf.d/
[root@localhost conf.d]# mv default.conf default.conf.bak
[root@localhost conf.d]# vim upstream.conf
upstream index {
        server 192.168.13.133:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.13.137:80 weight=1 max_fails=2 fail_timeout=2;
}       
server {
        listen 80;
        server_name     localhost;
        access_log  /var/log/nginx/host.access.log  main;
        location / {
         proxy_pass http://index;
         proxy_redirect default;
         proxy_set_header Host $http_host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
}
[root@localhost conf.d]# nginx -s reload

192.168.13.129
[root@backup ~]# cd /etc/nginx/conf.d/
[root@backup conf.d]# mv default.conf default.conf.bak
[root@backup conf.d]# vim upstream.conf
upstream index {
        server 192.168.13.133:80 weight=1 max_fails=2 fail_timeout=2;
        server 192.168.13.137:80 weight=1 max_fails=2 fail_timeout=2;
}       
server {
        listen 80;
        server_name     localhost;
        access_log  /var/log/nginx/host.access.log  main;
        location / {
         proxy_pass http://index;
         proxy_redirect default;
         proxy_set_header Host $http_host;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
}
[root@backup conf.d]# nginx -s reload

4.Keepalived实现调度器HA（两个节点都需要下载）

注：主/备调度器均能够实现正常调度
1.主/备调度器安装软件

192.168.13.128
[root@localhost ~]# yum install -y keepalived
[root@localhost ~]# cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak  #备份
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id directory1   #只是名字而已，辅节点改为directory2（两个名字一定不能一样）
}
vrrp_instance VI_1 {
    state MASTER        #定义主还是备，备用的话写backup
    interface ens33     #VIP绑定接口
    virtual_router_id 80  #整个集群的调度器一致（在同一个集群）
    priority 100         #（优先权）back改为50（50一间隔）
    advert_int 1         #发包
    authentication {
        auth_type PASS      #主备节点认证
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.13.144/24    #VIP（自己网段的）
    }
}

192.168.13.129
[root@backup ~]# yum install -y keepalived
[root@backup ~]# mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak
[root@backup ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id directory2
}
vrrp_instance VI_1 {
    state BACKUP    #设置为backup
    interface ens33
    nopreempt        #设置到back上面，不抢占资源
    virtual_router_id 80
    priority 50   #辅助改为50
    advert_int 1	#检测间隔1s
    authentication {
        auth_type PASS
        auth_pass 1111            #认证类型和密码主备一样，要不然无法互相认证
    }
    virtual_ipaddress {
        192.168.13.144/24    #抢占的VIP也一样
    }
}

2.启动KeepAlived（主备均启动）

[root@localhost ~]# systemctl start keepalived
[root@backup ~]# systemctl start keepalived
开机自启（可以不设置）
[root@localhost ~]# systemctl enable keepalived
[root@backup ~]# systemctl enable keepalived

3.测试
为了能看出效果，这里给两个真实服务器加入一些东西

[root@real-server1 ~]# echo "this is first real-server" > /usr/share/nginx/html/index.html
[root@real-server1 ~]# vim /etc/nginx/nginx.conf
    keepalive_timeout  0;           #设置长链接
[root@real-server1 ~]# nginx -s reload
[root@real-server2 ~]# echo "this is second real-server"> /usr/share/nginx/html/index.html
[root@real-server2 ~]# vim /etc/nginx/nginx.conf
    keepalive_timeout  0;#默认keepalive_timeout  65；
[root@real-server2 ~]# nginx -s reload
#修改后端nginx服务器的长连接是为了方便测试

注意：
如果你网页访问不到，可能是配置文件出错了。如果你是直接复制本文章的代码，建议你将注释都去掉，有时候可能你的输入法的问题，导致配置文件出现一些多余的空格之类的。
访问你自己设置的VIP 192.168.13.144
在这里插入图片描述

查看两个节点服务器，你会发现VIP在主节点

如果这个时候主节点服务器宕机了（我们把服务停止了用来测试），VIP会自己漂移到备用节点上。

但是用户访问时却感觉不到

网页照样可以继续使用，这就是高可用性。

5.基于nginx的高可用性

以上我们只是实现了高可用，基于nginx的前提是nginx服务是正常。如果有突发情况使得nginx服务不能启动，但是我们的keepalived服务是正常，这个时候用户是访问不到的，VIP也不会自动漂移到备用的节点服务器上。所以我们需要写一些代码来判断一下nginx服务是不是正常，如果不正常的话我们就将keepalived服务关掉，然后实现VIP的漂移，这个时候用户就不会出现无法访问的情况了。

思路：
让Keepalived以一定时间间隔执行一个外部脚本，脚本的功能是当Nginx失败，则关闭本机的Keepalived
[root@localhost ~]# vim /etc/keepalived/check_nginx_status.sh
#!/bin/bash					        
/usr/bin/curl -I http://localhost &>/dev/null       #nginx服务是否正常
if [ $? -ne 0 ];then								    
	systemctl stop keepalived
fi															        	
[root@localhost ~]# chmod a+x /etc/keepalived/check_nginx_status.sh    #一定要加执行权限
(2). keepalived使用script
[root@localhost ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   router_id director1
}
vrrp_script check_nginx {
   script "/etc/keepalived/check_nginx_status.sh"
   interval 5    #每五秒钟执行一次
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 80
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.13.144/24
    }
    track_script {
        check_nginx
    }
}
注：必须先启动nginx，再启动keepalived，建议备用节点也添加上.

测试访问：
将keepalived集群的主节点的nginx服务关闭，查看vip是否漂移，如果漂移，即成功
在这里插入图片描述