Nginx+tomcat+memcached解决集群的session问题

浏览数：30 / 时间：2015年06月20日

Tomcat集群session同步方案有以下几种方式：

· 使用tomcat自带的cluster方式，多个tomcat间自动实时复制session信息，配置起来很简单。但这个方案的效率比较低，在大并发下表现并不好。原理：http://zyycaesar.iteye.com/blog/296606

· 利用nginx的基于访问ip的hash路由策略，保证访问的ip始终被路由到同一个tomcat上，这个配置更简单。但如果应用是某一个局域网大量用户同时登录，这样负载均衡就没什么作用了。

· 利用nginx插件实现tomcat集群和session同步，nginx-upstream-jvm-route-0.1.tar.gz，是一个 Nginx 的扩展模块，用来实现基于 Cookie 的 Session Sticky 的功能，可通过http://code.google.com/p/nginx-upstream-jvm-route/downloads/list获取。

· 利用memcached把多个tomcat的session集中管理，前端在利用nginx负载均衡和动静态资源分离，在兼顾系统水平扩展的同时又能保证较高的性能。

以下使用第四种方案，集群环境：

系统版本：centos 6.4 X64

1. nginx最新版本：1.6.0

2. tomcat版本：apache-tomcat-7.0.61

3. memcached最新版本：1.4.0

4. Jdk 版本：1.7.0_75

fss

一、安装配置nginx

[root@localhost ~]# yum -y install pcre*

[root@localhost ~]#tar -zxvf nginx-1.6.0.tar.gz

[root@localhost ~]#mkdir /usr/local/nginx

[root@localhost ~]#./configure --prefix=/usr/local/nginx

[root@localhost ~]#make && make install

配置nginx:

[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

    server { 
        listen       80;
        server_name  localhost;
       index        index.jsp;          ##因为首页是jsp文件，所以把首页直接定向给后端的8080端口的tomcat来处理
        root  /usr/local/apache-tomcat-7.0.61/webapps/ROOT;

        location ~ .*.jsp$
        {
                index  index.jsp;
                proxy_pass http://127.0.0.1:8080;
                proxy_redirect off;
                proxy_set_header Host $host;
                proxy_set_header X-Real_IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
                proxy_connect_timeout   90;
                proxy_send_timeout 90;
                proxy_read_timeout 90;
                client_max_body_size 10m;
                client_body_buffer_size 128k;
                proxy_buffer_size 64k;
                proxy_buffers 4 32k;
                proxy_busy_buffers_size 64k;
                proxy_temp_file_write_size 64k;
        }

保存退出后，启动nginx

二、安装memcached

[root@localhost ~]# yum install libevent libevent-devel

[root@localhost ~]# wget http://www.danga.com/memcached/dist/memcached-1.4.0.tar.gz

[root@localhost ~]# tar zxf memcached-1.4.0.tar.gz

[root@localhost ~]# ./configure
[root@localhost ~]# make && make install

[root@localhost ~]# /usradd -s /sbin/nologin memcached

安装成功（默认安装在/usr/loca/bin下）

2、启动memcached的服务端
[root@localhost ~]# /usr/local/bin/memcached -d -m 128 -l 127.0.0.1 -p 11211 -u memcached -c 256 (也可以启动多个memcached服务端，但端口不能相同)

-d选项是启动一个守护进程，

-m是分配给Memcache使用的内存数量，单位是MB，我这里是128MB，

-u是运行Memcache的用户，我这里是memcached，

-l是监听的服务器IP地址，如果有多个地址的话，我这里指定了服务器的IP地址127.0.0.1，

-p是设置Memcache监听的端口，我这里设置了11211，最好是1024以上的端口，

-c选项是最大运行的并发连接数，默认是1024，我这里设置了256，按照你服务器的负载量来设定，

至此，memcached已启动！

三、安装两个tomcat ：

[root@localhost ~]# tar -zxvf apache-tomcat-7.0.61.tar.gz

[root@localhost ~]# cp -rf apache-tomcat-7.0.61 /usr/local/

[root@localhost ~]#cp -rf apache-tomcat-7.0.61 /usr/local/apache-tomcat-7.0.61-2

[root@localhost ~]#vim /etc/profile/

export TOMCAT_HOME=/usr/local/apache-tomcat-7.0.61

export CATALINA_HOME=/usr/local/apache-tomcat-7.0.61

export CLASSPATH=$CLASSPATH:$CATALINA_HOME/lib

export CATALINA_BASE=/usr/local/apache-tomcat-7.0.61

export TOMCAT_HOME2=/usr/local/apache-tomcat-7.0.61-2

export CATALINA_HOME2=/usr/local/apache-tomcat-7.0.61-2

export CLASSPATH2=$CLASSPATH2:$CATALINA_HOME2/lib

export CATALINA_BASE2=/usr/local/apache-tomcat-7.0.61-2

因为一台主机启动了多个tomcat，所以需要修改第二个tomcat的catalina.sh文件的环境变量

[root@localhost ~]#vim /usr/local/apache-tomcat-7.0.61-2/bin/catalina.sh 在文件前端增加

export CATALINA_BASE=$CATALINA_BASE2

export CATALINA_HOME=$CATALINA_HOME2

配置tomcat:

1、tomcat最重要的一项，在conf/context.xml里增加与memcached的链接（两个tomcat都需要做！）

[root@localhost ~]#vim /usr/local/apache-tomcat-7.0.61/conf/context.xml

在Context标签内增加：

千万注意：此 Manager 标签是一行！并且一定要检查多没多空格什么的！不然报错，很蛋疼！

Manager标签属性说明：
    className 此属性是必须的。
    memcachedNodes 此属性是必须的，这个属性必须包含你所有运行的memcached节点，每个节点的定义格式为<id>:<host>:<port>，多个之间用空格或半角逗号隔，如果只有一个memcached，就不需要写节点ID。
    requestUriIgnorePattern 可选项，此属性是那些不需备份Session的请求的正则表达式。
    sessionBackupAsync 设置为false即是设置为非沾粘session。
    sessionBackupTimeout 可选项，默认100，单位毫秒。
    transcoderFactoryClass 可选，默认为 de.javakaffee.web.msm.JavaSerializationTranscoderFactory,上述配置使用kryo策略，效率主要体现在高并发下。

2、修改第二个tomcat的启动端口为 8090

在tomcat/lib库中添加mem和msm的依赖jar包：

本例中使用的jar包文件版本：

asm-3.2.jar

kryo-1.04.jar

kryo-serializers-0.11.jar

memcached-session-manager-1.7.0.jar

memcached-session-manager-tc7-1.8.1.jar

minlog-1.2.jar

msm-kryo-serializer-1.7.0.jar

reflectasm-1.01.jar

spymemcached-2.7.3.jar