Nginx 集群

发表于 2020-03-23 更新于 2020-12-01 阅读次数：本文字数： 5k 阅读时长 ≈ 5 分钟

集群实现方案

NGINX实现主从备份目前主流方案是 Keepalived + Nginx 实现双机热备。

Keepalived介绍

Keepalived 是一个基于 VRRP 协议来实现的服务高可用方案，可以利用其来避免 IP 单点故障，类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现，而是与其它负载均衡技术（如lvs、haproxy、nginx）一起工作来达到集群的高可用。

VRRP协议

VRRP 全称 Virtual Router Redundancy Protocol，即虚拟路由冗余协议。可以认为它是实现路由器高可用的容错协议，即将 N 台提供相同功能的路由器组成一个路由器组(Router Group)，这个组里面有一个 master 和多个 backup，但在外界看来就像一台一样，构成虚拟路由器，拥有一个虚拟 IP（vip，也就是路由器所在局域网内其他机器的默认路由），占有这个 IP 的 master 实际负责 ARP 相应和转发 IP 数据包，组中的其它路由器作为备份的角色处于待命状态。master 会发组播消息，当 backup 在超时时间内收不到 vrrp 包时就认为 master 宕掉了，这时就需要根据 VRRP 的优先级来选举一个 backup 当 master，保证路由器的高可用。

在 VRRP 协议实现里，虚拟路由器使用 00-00-5E-00-01-XX 作为虚拟MAC地址，XX 就是唯一的 VRID （Virtual Router IDentifier），这个地址同一时间只有一个物理路由器占用。在虚拟路由器里面的物理路由器组里面通过多播IP地址 224.0.0.18 来定时发送通告消息。每个Router都有一个 1-255 之间的优先级别，级别最高的（highest priority）将成为主控（master）路由器。通过降低master的优先权可以让处于 backup 状态的路由器抢占（pro-empt）主路由器的状态，两个backup优先级相同的IP地址较大者为 master ，接管虚拟 IP。

具体实现原理：

Master没挂，则Master占有vip且nginx运行在Master上
Master挂了，则backup抢占vip且在backup上运行nginx服务
如果master服务器上的nginx服务挂了，则vip资源转移到backup服务器上
检测后端服务器的健康状态

Master 和 Backup 两边都开启 nginx 服务，无论 Master 还是 Backup，当其中的一个 keepalived 服务停止后，vip 都会漂移到 keepalived 服务还在的节点上。

具体实现上

安装

前端两台主机分别安装nginx和keepalived。

安装keepalived：

# 安装依赖
yum install kernel-* gcc make openssl-*
# 下载keepalived-1.2.19.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gz
# 解压
tar xvzf keepalived-1.2.19.tar.gz 
cd keepalived-1.2.19
# 配置
./configure --sysconfdir=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-504.el6.x86_64
# 编译并安装
make && make install
# 查看keepalived版本，验证安装成功
keepalived -v
# 设置开机自启动
chkconfig keepalived on

注：用 yum 也可安装 keepalived，不过版本要低一些。

RPM包安装Nginx

官方nginx yum源：

[nginx]
name=nginx repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
enabled=1
gpgcheck=0
    yum源设置好后直接安装即可：

yum install nginx
chkconfig nginx on

配置

前端两台主机nginx的配置完全一样

# vim /etc/nginx/conf.d/upstream.conf 

upstream tomcatclu_16915 {
        server 192.168.60.51:16915;
        server 192.168.60.52:16915;
        server 192.168.60.53:16915;
        ip_hash;
}

upstream tomcatclu_16916 {
        server 192.168.60.51:16916;
        server 192.168.60.52:16916;
        server 192.168.60.53:16916;
        ip_hash;
}

# vim /etc/nginx/conf.d/server.conf

server {
    listen 16915;
    server_name _;

    location / {
        proxy_pass http://tomcatclu_16915;
    }
    location /nginx_status{
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        # 要允许公司ip访问nginx status
        allow 192.168.252.0/24;
        deny all;
    }
}

server {
    listen 16916;
    server_name _;

    location / {
        proxy_pass http://tomcatclu_16916;
    }
    location /nginx_status{
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        # 要允许公司ip访问nginx status
        allow 192.168.252.0/24;
        deny all;
    }
}

nginx_master的keepalived配置

[root@nginx_master ~]# vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   router_id nginx-ha1
}

vrrp_script check_nginx {
    # 检查nginx状态的脚本，文章后面给出
    script "/data/script/check_nginx.sh"
    # 执行间隔2秒
    interval 2
}

vrrp_instance VI_1 {
    # 两台主机都是BACKUP
    state BACKUP
    interface eth0
    # 同一keepalived集群的virtual_router_id 必须相同，默认51
    virtual_router_id 55
    # 主的优先级高
    priority 100
    advert_int 1
    # 不抢占：如果集群里已存在MASTER状态的主机，即使优先级高于MASTER也不抢占为MASTER。只在优先级高的主机上设置即可。
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        # 虚拟IP
        192.168.60.50
    }
    track_script {
        check_nginx
    }
}

nginx_slave 的 keepalived 配置

[root@nginx_slave ~]# vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   router_id nginx-ha2
}

vrrp_script check_nginx {
    script "/data/script/check_nginx.sh"
    interval 2
}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 55
    # 备的优先级低
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.60.50
    }
    track_script {
        check_nginx
    }
}

防火墙设置

# iptables放行组播地址流量:
iptables -I INPUT -d 224.0.0.18 -j ACCEPT
service iptables save

VRRP 报文是通过 IP 多播形式发送的，组播地址224.0.0.18是VRRP报文的目的地址。
本实验里，两个主机都是BACKUP，如果同时启动 keepalived，VRRP 协议通过竞选使优先级高的主机做为 MASTER。如果防火墙没有允许 VRRP 报文通过的话，两个 BACKUP 都会成为 MASTER，会发现两个主机都启动了虚拟 IP。

部署nginx状态检查脚本 check_nginx.sh

/data/script/check_nginx.sh 检查脚本内容如下：

#!/bin/bash
# check nginx server status
# http://qicheng0211.blog.51cto.com
 
# nginx端口
PORTS="16915 16916"

function check_ports {
    for port in $PORTS;do
        nc -z 127.0.0.1 $port | grep -q succeeded
        [ "${PIPESTATUS[1]}" -eq 0 ] && mark=${mark}1
    done
    # 如果mark值为空说明两个端口都不通。
    # 如果mark等于1，说明有一个端口是通的。
    # 如果mark等于11，说明两个端口都是通的。
    echo $mark
}

ret1=$(check_ports)
# 如果nginx端口不通，会尝试重启一次nginx
if [ "$ret1" != 11 ];then
    /sbin/service nginx stop
    /sbin/service nginx start
    sleep 1
    ret2=$(check_ports)
    # 如果还是有端口不通，表示nginx服务不正常，则停掉keepalived，使VIP发生切换
    [ "$ret2" != 11 ] && /etc/init.d/keepalived stop
fi

给脚本设置可执行权限：

chmod +x /data/script/check_nginx.sh

补充一点：如果nginx恢复正常后，keepalived不能自动启动，需要编写一个脚本完成这项工作：判断nginx正常后，拉起 keepalived。脚本放到 cron 里每分钟执行。

开启keepalived的日志

编辑 /etc/sysconfig/keepalived：

KEEPALIVED_OPTIONS="-D -d -S 0"

编辑/etc/rsyslog.conf：

# 配置文件最后面加上下面一行
local0.*                                        /var/log/keepalived.log

重启rsyslog：

service rsyslog restart

按上面配置后，keepalived 会把日志记录到 /var/log/keepalived.log。

启动服务

# 先检查nginx配置文件正确性
nginx -t
# 启动nginx服务
service nginx start
# 同时启动keepalived服务
service keepalived start
# 过一会查看虚拟IP是否在nginx_master主机上
ip a

参考资料：

nginx可以集群吗
 Nginx+Keepalived搭建高可用负载均衡集群