nginx+tomcat负载均衡、动静分离群集【☆☆☆☆☆】
Nginx是一款非常优秀的HTTP服务器软件，性能比tomcat更优秀，它支持高达50 000个并发连接数，拥有强大的静态资源处理能力，运行稳定，内存、CPU等系统资源消耗非常低。目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，提升整个站点的负载并发能力。
一、nginx负载均衡
Nginx负载均衡是通过反向代理实现的，还可以将nginx接收到的请求转发给多个后端应用服务器处理。
1、Nginx代理类型
1）nginx 正向代理
代理客户端去访问服务端，服务端不知道真实的客户端地址。客户端先将请求发送给正向代理服务器，再由正向代理服务器将请求转发给服务端。如果由客户端直接发送请求给服务端可能延时大或访问不了。比如VPN。
2） nginx 反向代理
代理服务端，客户端访问代理服务器时，代理服务器会将请求转发给后端其他应用服务端处理，客户端并不知道访问的真实服务端的地址，比如我们访问百度、淘宝这些大型网站，他们不可能只有一台服务器支持所有并发，想要支持几百万几千万的并发需要组成一个服务器集群，并不是服务端的每个服务器的ip地址都要一一记录进行访问，而是直接访问作为前端代理服务器的ip地址，由代理服务器转发请求给后端的应用服务器处理返回。
2、部署反向代理
准备两台服务器，一台做nginx服务器做前端，IP地址为192.168.170.20；一台做后端服务器，tomcat服务器IP地址为192.168.170.200。通过配置实现客户端访问nginx的ip地址访问到tomcat的网页文件。（这里省略部署tomcat服务的步骤，前面内容有详细步骤）
第一步：部署nginx服务器并创建网页文件
cd /opt/ rm -rf * rz -E tar xf nginx-1.26.0.tar.gz yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make useradd -M -s /sbin/nologin nginx cd nginx-1.26.0/ ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module make -j2 && make install ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ nginx -t cd /usr/lib/systemd/system vim nginx.service systemctl daemon-reload systemctl start nginx systemctl enable nginx netstat -lntp | grep nginx [root@pyx system]# cd /usr/local/nginx/html/ [root@pyx html]# ls 50x.html index.html [root@pyx html]# mkdir xy101 [root@pyx html]# ls 50x.html index.html xy101 [root@pyx html]# cp index.html xy101/ [root@pyx html]# cd xy101/ [root@pyx xy101]# ls index.html
第二步：tomcat服务器开启服务，并创建网页文件
[root@centOS2 ~]# cd /usr/local/tomcat/bin/
[root@centOS2 bin]# ls
bootstrap.jar commons-daemon-native.tar.gz makebase.sh tomcat-juli.jar
catalina.bat configtest.bat setclasspath.bat tomcat-native.tar.gz
catalina.sh configtest.sh setclasspath.sh tool-wrapper.bat
catalina-tasks.xml daemon.sh shutdown.bat tool-wrapper.sh
ciphers.bat digest.bat shutdown.sh version.bat
ciphers.sh digest.sh startup.bat version.sh
commons-daemon.jar makebase.bat startup.sh
[root@centOS2 bin]# ./startup.sh
Using CATALINA_BASE: /usr/local/tomcat
Using CATALINA_HOME: /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME: /usr/local/jdk1.8.0_391/jre
Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
[root@centOS2 bin]# netstat -lntp | grep :8080
tcp6 0 0 :::8080 :::* LISTEN 6104/java
[root@centOS2 bin]# cd /usr/local/tomcat/webapps/
[root@centOS2 webapps]# ls
docs examples host-manager manager ROOT xy101 xy102
[root@centOS2 webapps]# cd xy101
[root@centOS2 xy101]# ls
index.html
[root@centOS2 xy101]# cd ..
[root@centOS2 webapps]# cp xy101/index.html ./
[root@centOS2 webapps]# ls
docs examples host-manager index.html manager ROOT xy101 xy102
第三步：配置nginx服务器的conf文件
[root@pyx xy101]# cd /usr/local/nginx/conf [root@pyx conf]# vim nginx.conf [root@pyx conf]# nginx -t nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful [root@pyx conf]# systemctl restart nginx.service
反向代理的优势
- 隐藏真实服务器；
- 负载均衡便于横向扩充后端动态服务；
- 动静分离，提升系统健壮性
三、nginx 动静分离
服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，（nginx处理静态页面性能比tomcat强大，吞吐量、请求量等性能是tomcat的六倍左右）。而动态资源会由Nginx代理转发至后端的其他应用服务器处理（比如php动态页面转发给php服务器处理，jsp动态页面转发给tomcat服务器处理）。
如果后端服务器有多台，nginx服务器需要在upsteam XX服务池称 中定义每个后端服务器的ip地址，然后再用proxy_pass http://XX（服务器名称）；就能实现后端服务器的负载均衡。（下面拓补图仅作展示原理作用）。
Nginx静态处理优势
- Nginx处理静态页面的效率远高于Tomcat的处理能力
- 若Tomcat的请求量为1000次，则Nginx的请求量为6000次
- Tomcat每秒的吞吐量为0.6M，Nginx的每秒吞吐量为3.6M
- Nginx处理静态资源的能力是Tomcat处理的6倍
nginx七层反向代理实现动静分离。实验准备2台tomcat服务器192.168.170.40，一台nginx服务器192.168.170.20，此时我的虚拟机192.168.170.200上是在《tomcat部署与优化》博客中已经部署了tomcat多实例，这里可以用上。
①tomcat服务器192.168.170.200远程发送tomcat服务器已经安装的目录到192.168.170.40
#tomcat服务器192.168.170.200 [root@centOS2]# cd /usr/local/ [root@centOS2 local]# scp -r tomcat 192.168.170.40:`pwd` The authenticity of host '192.168.170.30 (192.168.170.30)' can't be established. ECDSA key fingerprint is SHA256:RKvhkwuiOA7PYYJ2yuDGCvJlRKnz8Ng7TF9VBbxFMVI. ECDSA key fingerprint is MD5:3e:ba:46:01:3f:7d:f6:c7:3d:34:30:02:28:ec:7d:56. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added '192.168.170.40' (ECDSA) to the list of known hosts. root@192.168.170.30's password: #tomcat服务器192.168.170.40 [root@pyx ~]# cd /usr/local/ [root@pyx local]# ls bin etc games include lib lib64 libexec sbin share src tomcat [root@pyx local]# ./tomcat/bin/startup.sh Using CATALINA_BASE: /usr/local/tomcat Using CATALINA_HOME: /usr/local/tomcat Using CATALINA_TMPDIR: /usr/local/tomcat/temp Using JRE_HOME: /usr Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar Tomcat started.
②tomcat服务器192.168.170.200准备好测试文件
#tomcat服务器192.168.170.200准备jsp网页文件 [root@centOS2]# cd /usr/local/tomcat/webapps/ [root@centOS2 webapps]# ls docs examples host-manager index.html manager ROOT xy101 xy102 [root@centOS2 webapps]# cd xy101/ [root@centOS2 xy101]# ls index.html test.jsp [root@centOS2 xy101]# vim test.jsp
#复制修改网页测试文件到多实例中 [root@centOS2]# cd /usr/local/tomcat/webapps/xy101/ [root@centOS2 xy101]# ls index.html test.jsp [root@centOS2 xy101]# mkdir /usr/local/tomcat2/webapps/xy101/ [root@centOS2 xy101]# cp test.jsp /usr/local/tomcat2/webapps/xy101/ [root@centOS2 xy101]# mkdir /usr/local/tomcat3/webapps/xy101/ [root@centOS2 xy101]# cp test.jsp /usr/local/tomcat3/webapps/xy101/ [root@centOS2 xy101]# cd /usr/local/tomcat2/webapps/xy101/ [root@centOS2 xy101]# vim test.jsp [root@centOS2 xy101]# cd /usr/local/tomcat3/webapps/xy101/ [root@centOS2 xy101]# vim test.jsp #启动多实例 [root@centOS2 xy101]# /usr/local/tomcat2/bin/startup.sh Using CATALINA_BASE: /usr/local/tomcat2 Using CATALINA_HOME: /usr/local/tomcat2 Using CATALINA_TMPDIR: /usr/local/tomcat2/temp Using JRE_HOME: /usr/local/jdk1.8.0_391/jre Using CLASSPATH: /usr/local/tomcat2/bin/bootstrap.jar:/usr/local/tomcat2/bin/tomcat-juli.jar Tomcat started. [root@centOS2 xy101]# /usr/local/tomcat3/bin/startup.sh Using CATALINA_BASE: /usr/local/tomcat3 Using CATALINA_HOME: /usr/local/tomcat3 Using CATALINA_TMPDIR: /usr/local/tomcat3/temp Using JRE_HOME: /usr/local/jdk1.8.0_391/jre Using CLASSPATH: /usr/local/tomcat3/bin/bootstrap.jar:/usr/local/tomcat3/bin/tomcat-juli.jar Tomcat started.
验证多实例网页文件
③tomcat服务器192.168.170.40也准备好jsp动态网页
#tomcat服务器192.168.170.200远程传输网页测试文件到192.168.170.40 [root@centOS2 xy101]# scp test.jsp 192.168.170.40:`pwd` root@192.168.170.40's password: test.jsp100% 189 137.2KB/s 00:00 #tomcat服务器192.168.170.40修改测试文件内容
④nginx服务器192.168.170.20的xy101目录中有静态文件，想实现访问nginx服务器静态页面的时候直接由nginx处理，访问动态页面的时候由nginx转发给tomcat处理的效果。
在http块中配置使用upstream定义后端服务器列表；在server配置块中，用户请求的静态网页可以通过location匹配直接跳转页面，动态网页则使用location匹配用户请求的动态页面的URL路径，用proxy_pass代理转发，实现动静分离。
[root@pyx ~]# cd /usr/local/nginx/ [root@pyx nginx]# ls client_body_temp fastcgi_temp logs sbin uwsgi_temp conf html proxy_temp scgi_temp [root@pyx nginx]# cd html/ [root@pyx html]# ls 50x.html index.html xy101 [root@pyx html]# cd xy101/ [root@pyx xy101]# ls index.html [root@pyx xy101]# cd /usr/local/nginx/conf/ [root@pyx conf]# vim nginx.conf [root@pyx conf]# nginx -t nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful [root@pyx conf]# systemctl restart nginx.service
验证动静分离效果
四、nginx的反向代理类型
1、七层反向代理
七层反向代理基于http、https、mail等七层应用协议的代理转发（根据用户访问请求的URL路径来转发请求），通常用于 动静分离 等应用场景。部署参考上面的动静分离配置。
七层反向代理配置
1）在http配置块中使用upstream定义后端服务器列表名称和节点参数
http { upstream 服务器池名称 { server IP1:PORT1 weight=1; server IP2:PORT2 weight=1; ...... }2）在server配置块中使用location匹配用户请求的动态页面的URL路径，使用 proxy_pass 基于协议代理转发
server { ...... location ~ .*\.jsp$ { proxy_pass http://服务器池名称; #用于为后端服务器获取真实的客户端地址 proxy_set_header HOST $host; proxy_set_header X_Real_IP $remote_addr; proxy_set_header X_Forwarded_For $proxy_add_x_forwarded_for; } ...... }2、四层反向代理
四层反向代理基于 IP 和 端口 实现的代理转发（根据用户请求的IP和端口来转发请求），通常用于做 网关访问入口的负载均衡器 等应用场景。
1）编译安装时需要添加 stream 四层代理模块 ./configure --with-stream
2）在 http 配置块同层级，一般在 http 配置块上面添加 stream 配置块，在 stream 配置块里使用upstream定义后端服务器列表名称和节点参数以及使用server配置块定义监听端口和转发配置
stream { upstream 服务器池名称 { server IP1:PORT1 weight=1; server IP2:PORT2 weight=1; ...... } server { listen IP:PORT; proxy_pass 服务器池名称; } } http {....}四层反向代理 比 七层反向代理 转发性能更高于；
七层反向代理 比 四层反向代理 转发功能更多、更灵活
3、群集系统案例部署（不完整）
通过将Nginx与后端多台服务器结合，可以构建一个高性能的群集系统。Nginx Server负责接收和分发请求，nginx web服务器处理静态页面请求，而后端Tomcat和php服务器则负责处理业务逻辑。当集群中的某个Tomcat发生故障时，Nginx可以自动将请求转发到其他正常运行的Tomcat服务器上，保证了系统的稳定性和可靠性。
实验准备：
nginx服务器192.168.170.20做四层反向代理负载均衡器
nginx-web服务器192.168.170.101
nginx-web服务器192.168.170.102
tomcat服务器192.168.170.40
tomcat服务器192.168.170.200
php服务器192.168.170.110
1.部署nginx负载均衡器(四层代理）
systemctl stop firewalld setenforce 0 #安装所需开发包和编译环境、编译器 yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make #创建程序用户，便于准确控制访问 useradd -M -s /sbin/nologin nginx #解压nginx文件 cd /opt tar zxvf nginx-1.12.0.tar.gz -C /opt/ cd nginx-1.12.0/ ./configure \ --prefix=/usr/local/nginx \ --user=nginx \ --group=nginx \ --with-file-aio \ #启用文件修改支持 --with-http_stub_status_module \ #启用状态统计 --with-http_gzip_static_module \ #启用 gzip静态压缩 --with-http_flv_module \ #启用 flv模块，提供对 flv 视频的伪流支持 --with-http_ssl_module #启用 SSL模块，提供SSL加密功能 --with-stream #启用 stream模块，提供4层调度 ---------------------------------------------------------------------------------------------------------- ./configure \ --prefix=/usr/local/nginx \ # 指定安装目录为 /usr/local/nginx --user=nginx \ # 指定运行 nginx 的用户为 nginx --group=nginx \ # 指定运行 nginx 的用户组为 nginx --with-file-aio \ # 启用文件异步IO支持 --with-http_stub_status_module \ # 启用 HTTP Stub 状态模块，用于获取 nginx 的运行状态 --with-http_gzip_static_module \ # 启用 HTTP gzip 静态压缩模块，用于对静态文件进行 gzip 压缩 --with-http_flv_module \ # 启用 HTTP FLV 模块，提供对 FLV 视频的伪流支持 --with-http_ssl_module \ # 启用 HTTP SSL 模块，提供 SSL 加密功能 --with-stream # 启用 Stream 模块，提供 4 层调度功
#编译及安装 make && make install #软链接便于系统识别nginx操作命令 ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
#添加nginx系统服务以便系统管理启动、停止、重启 vim /lib/systemd/system/nginx.service [Unit] Description=nginx After=network.target [Service] Type=forking PIDFile=/usr/local/nginx/logs/nginx.pid ExecStart=/usr/local/nginx/sbin/nginx ExecrReload=/bin/kill -s HUP $MAINPID ExecrStop=/bin/kill -s QUIT $MAINPID PrivateTmp=true [Install] WantedBy=multi-user.target #赋权及开启服务、开启开机自启 chmod 754 /lib/systemd/system/nginx.service systemctl start nginx.service systemctl enable nginx.service
vim /usr/local/nginx/ stream { upstream nginx_server { server 192.168.170.101:80 weight=1; server 192.168.170.102:80 weight=1; } server { listen 192.168.170.20:2468; proxy_pass nginx_server; #四层代理不需要带协议，基于端口转发的 } } http {....}nginx -t systemctl restart nginx
2.部署2台nginx服务器，创建网页文件
附nginx一键部署脚本，与yum安装方法目录不同
#!/bin/bash #======编译安装nginx服务====== #安装所需开发包和编译环境、编译器 yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make #创建程序用户，便于准确控制访问 useradd -M -s /sbin/nologin nginx #解压安装包 cd /opt tar zxvf nginx-1.12.0.tar.gz -C /opt/ #指定安装路径、指定用户名、组名、启用模块以支持统计状态 cd nginx-1.12.0/ ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module --with-file-aio --with-http_gzip_static_module --with-http_flv_module --with-http_ssl_module --with-stream #编译及安装 make && make install #软链接便于系统识别nginx操作命令 ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ #添加nginx系统服务 echo '[Unit] Description=nginx After=network.target [Service] Type=forking PIDFile=/usr/local/nginx/logs/nginx.pid ExecStart=/usr/local/nginx/sbin/nginx ExecReload=/bin/kill -s HUP $MAINPID ExecStop=/bin/kill -s QUIT $MAINPID PrivateTmp=true [Install] WantedBy=multi-user.target' > /lib/systemd/system/nginx.service #赋权及开启服务、开启开机自启 chmod 754 /lib/systemd/system/nginx.service systemctl daemon-reload systemctl start nginx systemctl enable nginx
yum install -y nginx systemctl start nginx vim /etc/nginx/conf.d
在http配置块中使用upstream定义后端服务器列表名称和节点参数。
http { upstream tomcat_server { server IP1:PORT1 weight=1; server IP2:PORT2 weight=1; ...... }在server配置块中使用location匹配用户请求的动态页面的URL路径，使用 proxy_pass 基于协议代理转发。
location ~ .*\.jsp$ { proxy_pass http://服务器池名称; proxy_set_header HOST $host; proxy_set_header X_Real_IP $remote_addr; proxy_set_header X_Forwarded_For $proxy_add_x_forwarded_for; }关闭长连接，防止对实验结果有影响
keepalive_timeout =0;
nginx -t #检查语法 systemctl restart nginx cd /usr/share/nginx/html mkdir xy101 cd xy101/ vim test.html
3.部署2台tomcat服务器，并准备文件
systemctl stop firewalld setenforce 0 #解压安装JDK tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/ #设置JDK环境变量 vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH #刷新配置文件，使配置生效 source /etc/profile #解压tomcat tar zxvf apache-tomcat-8.5.16.tar.gz #将文件移动至/usr/local/下并重命名 mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat #tomcat启动关闭脚本位置 /usr/local/tomcat/bin/shutdown.sh /usr/local/tomcat/bin/startup.sh #重新加载服务，并开启，查看是否成功启动 /usr/local/tomcat/bin/startup.sh lsof -i:8080 netstat -ntap | grep 80804.验证
五、Nginx的负载均衡模式
Nginx的负载均衡模式，也叫调度模式、调度算法、调度策略，在 upstream 配置块里设置。
1、rr 轮询 负载均衡模式，自带。是nginx的默认调度模式，按照时间顺序逐一分配请求；
2、least_conn 最少连接，自带。优先将请求分配给当前连接数最少的节点；
3、weight 加权轮询，自带。使用weight参数设置权重，weight值越高的节点被分配请求的概率越大；
4、ip_hash ，自带。 根据客户端IP做hash缓存调度，会将请求分配给固定的一个节点；
5、url_hash，第三方。根据客户端请求访问的URL路径做hash缓存调度，会将请求分配给固定的一个节点。需要另外按照第三方模块支持
6、fair，第三方。优先将请求分配给响应时间最少的节点。需要另外按照第三方模块支持；
7、random，随机分配请求；
8、hash nginx全局变量 consistent，一致性hash算法，根据nginx全局变量的值来做hash缓存调度；比如 hash $remote_addr consistent 根据客户端ip做hash缓存调度，是ip_hash的加强版。
举例：
upstream 服务器池名称 {
server IP1:PORT1 weight=权重 max_fails=最大的失败次数 fail_timeout=暂停服务的时间 max_conns=最大并发连接数;
......
least_conn;/ip_hash;/hash $request_uri;/fair;/random;/hash $remote_addr consistent;
}
Nginx负载均衡如何实现会话保持？
1）ip_hash 或 一致性hash算法 基于客户端IP做hash缓存将请求发送给同一个后端节点服务器来实现会话保持，但是此方法容易导致负载失衡问题
2）sticky_cookie_insert 基于cookie来判断实现会话保持
upstream backend {
server ...... ;
sticky_cookie_insert srv_id expires=浏览器中保持cookie的时间 domain=cookie的域名 path=cookie的路径;
}
3）后端应用服务器自身通过相关机制设置，使用缓存数据库为后端节点服务器做session同步复制实现会话保持
