基于RHCS的web双机热备集群搭建

RHCS集群运行原理及功能介绍

集群环境介绍

主节点，RealServer1: 192.168.10.121

备节点，RealServer2: 192.168.10.122

存储节点，Node1:       192.168.10.130

集群的浮动 IP：           192.168.10.254

配置主机之间的ssh互信

① 在每台主机上执行一下代码

/usr/bin/ssh-keygen -t rsa
/usr/bin/ssh-keygen -t dsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

② 建立 RealServer1和RealServer2之间的ssh互信

在RealServer1上执行：

ssh server2 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 
ssh server2 cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

在RealServer2上执行：

ssh server1 cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 
ssh server1 cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys

配置target 存储

yum install iscsi-target-utils -y

service tgtd restart
chkconfig tgtd on
HOSTNAME="iqp.2014-08-25.edu.nuist.com:storage.disk"
tgtadm --lld iscsi --mode target --op  new --tid 1 --targetname $HOSTNAME
tgtadm --lld iscsi --op new --mode logicalunit --lun 1 --tid 1 -b /dev/sdb
tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL

#tgtadm --lld iscsi --op show --mode target |grep Target
tgt-admin -s

配置所有节点的initiator

yum install iscsi-initiator* -y
service iscsi start
service iscsid start
chkconfig iscsid

iscsiadm -m discovery -p 192.168.10.130:3260 -t sendtargets
iscsiadm -m node --targetname iqp.2014-08-25.edu.nuist.com:storage.disk -p 192.168.10.130:3260 --login

创建一个GFS2文件系统（只在其中一个节点）（在192.168.10.121上创建）（创建一个lvm）

pvreate /dev/sdb
vgcreate webvg /dev/sdb 
lvcreate -L 2G -n webvg_lv1 webvg

在每个节点上安装集群软件

yum -y install cman* 
yum -y install rgmanager*
yum -y install gfs2-utils
yum -y install system-config-cluster*
yum -y install lvm2-cluster

格式化文件系统（格式化一次即可）

mkfs.gfs2 -p lock_dlm -t httpd_cluster:webvg_lv1 -j 2 /dev/webvg/webvg_lv1

使用 system-config-cluster 图形工具产生 cluster.conf配置文件

① 启动system-config-cluster,创建httpd_cluster

② 添加新节点

③ 添加fence

④ 将fence和节点绑定

⑤ 添加资源：添加 IP 资源

⑥ 添加资源：添加GFS资源

⑦ 添加资源：添加Script资源

⑧ 创建失效域

⑨ 创建集群服务

配置完成后的文件内容如下

<?xml version="1.0" ?>
<cluster config_version="2" name="httpd_cluster">
	<fence_daemon post_fail_delay="0" post_join_delay="3"/>
	<clusternodes>
		<clusternode name="RealServer1" nodeid="1" votes="1">
			<fence>
				<method name="1">
					<device name="fence1" nodename="RealServer1"/>
				</method>
			</fence>
		</clusternode>
		<clusternode name="RealServer2" nodeid="2" votes="1">
			<fence>
				<method name="1">
					<device name="fence2" nodename="RealServer2"/>
				</method>
			</fence>
		</clusternode>
	</clusternodes>
	<cman expected_votes="1" two_node="1"/>
	<fencedevices>
		<fencedevice agent="fence_manual" name="fence1"/>
		<fencedevice agent="fence_manual" name="fence2"/>
	</fencedevices>
	<rm>
		<failoverdomains>
			<failoverdomain name="httpd_fail" ordered="0" restricted="1">
				<failoverdomainnode name="RealServer1" priority="1"/>
				<failoverdomainnode name="RealServer2" priority="1"/>
			</failoverdomain>
		</failoverdomains>
		<resources>
			<ip address="192.168.10.254" monitor_link="1"/>
			<script file="/etc/init.d/httpd" name="httpd"/>
			<clusterfs device="/dev/webvg/webvg_lv1" force_unmount="1" fsid="8669" fstype="gfs2" mountpoint="/var/www/html" name="docroot" options=""/>
		</resources>
		<service autostart="1" domain="httpd_fail" name="httpd_srv" recovery="relocate">
			<ip ref="192.168.10.254"/>
			<script ref="httpd"/>
			<clusterfs ref="docroot"/>
		</service>
	</rm>
</cluster>

将产生后的cluster.conf通过scp复制到其他节点上。（第一次需要手动复制，集群服务启动后可以通过system-config-cluster向所有节点分发配置文件。）

在RealServer1 和RealServer2 上安装apache

yum install httpd

配置RealServer1（RealServer2类似）

NameVirtualHost 192.168.10.121:80

ServerName   www.example.com

<VirtualHost 192.168.10.121:80>
	DocumentRoot /var/www/html
	ServerName   www.example.com
</VirtualHost>

设置apache开机不启动

chkconfig httpd off

启动集群服务

service cman start
service rgmanager start
lvmconf --enable-cluster
service clvmd start

集群启动后，开启system-config-cluster后，如下图。可以对集群的配置文件进行修改，修改完成后可以通过Send to  Cluster向所有节点分发配置文件。该工具内置版本控制的功能，每次修改配置文件后，会自动产生一个新版本。集群服务启动后，“Cluster Manager”才会出现，其内容如右图。分别显示集群中的节点，集群服务的状态，和集群中的主节点。

测试

至此集群搭建完毕

查看集群状态: clustat

查看挂载状态: mount

手动切换主被节点：clusvcadm -r httpd_srv 备用主机名称

查看浮点ip附着在那台主机上： ip addr

通过浏览器访问apache: http://192.168.10.254

参考

1. 51CTO朱伟宏老师的视频教程，地址：http://edu.51cto.com/course/course_id-2.html

2. 百度文库：红帽集群套件RHCS四部曲