CentOS7 HA Cluster 구축 하기
* 요구사항
– 두대의 Private IP를 가진 서버, 별개의 VIP를 통한 Failover 구성
– 상기 두개의 서버에서 1개의 공유 스토리지 사용 : Block Storage, GFS2, 100GB/1000IOPS (성능은 맞추어서)
* 아키텍처
* HA 구성을 위한 리소스 구매
– Linux Server 2대 신청 : CentOS 7.x – Minimal Install (64 bit)
==> svr01.mungi.com 10.178.80.44
==> svr02.mungi.com 10.178.80.45
– Performance Storage 100GB/1000IOPS 신청
==> 대상 주소 :161.26.102.18
==> 허용서버 추가 (2대)
==> svr01
사용자명: IBM01SU1040169-V36035181
패스워드: Sm99G8pgxSlfH3EG
호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V36035181
==> svr02
사용자명: IBM01SU1040169-V29352927
패스워드: EZlHmrKzNgexS9ar
호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V29352927
– VIP 사용을 위한 Portable Private IP 신청
==> 10.178.5.230
* iSCSI연결
yum install -y iscsi-initiator-utils device-mapper-multipath
touch /etc/multipath.conf
systemctl start multipathd
systemctl enable multipathd
cp /etc/iscsi/initiatorname.iscsi{,.orig}
vi /etc/iscsi/initiatorname.iscsi #=> CloudZ포털에서 확인한 HOST IQN 값으로 변경
cp /etc/iscsi/iscsid.conf{,.orig}
vi /etc/iscsi/iscsid.conf #=> 아래 항목을 주석 해제 및 CloudZ 포털에서 확인한 값으로 변경
node.session.auth.authmethod = CHAP
node.session.auth.username = "Username-value-from-SL-Portal"
node.session.auth.password = "Password-value-from-SL-Portal"
discovery.sendtargets.auth.authmethod = CHAP
discovery.sendtargets.auth.username = "Username-value-from-SL-Portal"
discovery.sendtargets.auth.password = "Password-value-from-SL-Portal"
systemctl enable iscsi
systemctl enable iscsid
systemctl start iscsi
systemctl start iscsid
systemctl status iscsid #=> active (running) 인지 확인
iscsiadm -m discovery -t sendtargets -p "161.26.102.18" #=> CloudZ 포털에서 확인한 IP 값으로 변경
iscsiadm -m node -L automatic
multipath -l #=> 아래 처럼 보여야 함
* Cluster 구성
/etc/hosts에 상대 정보 추가
10.178.80.44 svr01.mungi.com svr01
10.178.80.45 svr02.mungi.com svr02
==> VIP
yum install -y corosync pacemaker pcs resource-agents
systemctl start pcsd
systemctl enable pcsd
systemctl enable corosync
systemctl enable pacemaker
passwd hacluster #자동생성된 hacluster유저의 패스워드 설정
# --> 여기서 부터는 한쪽에서만 해도 됨.
pcs cluster auth svr01 #인증 계정 적용
pcs cluster auth svr02# MyCluster 이름의 클러스터를 생성
#해당 클러스터엔 svr01 svr02 두대의 서버가 포함
#데이터 전송은 UDP통신을 사용하도록 설정
pcs cluster setup --start --name MyCluster svr01 svr02 --transport udpu
pcs property set stonith-enabled=false
pcs cluster start --all
pcs status #옵션 정상 구성확인, 계속볼려면 crm_mon* VIP 클러스터 리소스 설정, Portable Private IP 사용
pcs resource create SVC_VIP IPaddr2 ip=10.178.77.230 cidr_netmask=32 nic=eth0:1 op monitor interval=5s #사용할 VIP로 설정, 퍼블릭이면 eth1:1
* 스토리지 클러스터 리소스 설정
iscsiadm -m session #각서버에서 세션 맺어진 것 확인
yum install -y fence-agents-scsi gfs2-utils lvm2-cluster
# multipath -l dev id 확인후 3600a098038303743372b4966496d724d 변경
pcs stonith create SCSI-STONITH fence_scsi devices=/dev/mapper/3600a098038303743372b4966496d724d pcmk_monitor_action=metadata pcmk_reboot_action=off pcmk_host_list="svr01 svr02" meta provides=unfencing
pcs property set stonith-enabled=true
pcs property set no-quorum-policy=ignore
pcs property set default-resource-stickiness=100#볼륨 매니저 설정
lvmconf --enable-cluster
pcs cluster cib dlm_cfg
pcs -f dlm_cfg resource create dlm ocf:pacemaker:controld op monitor interval=120s on-fail=fence clone interleave=true ordered=true
pcs -f dlm_cfg resource create clvmd ocf:heartbeat:clvm op monitor interval=120s on-fail=fence clone interleave=true ordered=true
pcs -f dlm_cfg constraint order start dlm-clone then clvmd-clone
pcs -f dlm_cfg constraint colocation add clvmd-clone with dlm-clone
pcs -f dlm_cfg property set no-quorum-policy=freeze
pcs -f dlm_cfg constraint
pcs -f dlm_cfg resource show
pcs cluster cib-push dlm_cfg#디스크 파티션 구성 및 포맷
fdisk /dev/mapper/3600a098038303743372b4966496d724d
n -> primary -> 계속 엔터, t -> 8e
partprobe /dev/mapper/3600a098038303743372b4966496d724d
pvcreate -ff /dev/mapper/3600a098038303743372b4966496d724d
vgcreate --clustered=y vg_cluster /dev/mapper/3600a098038303743372b4966496d724d
lvcreate -l 100%FREE --name lv_storage vg_cluster
mkfs.gfs2 -j2 -t MyCluster:DataDisk -p lock_dlm /dev/vg_cluster/lv_storage# 디스크 마운트
mkdir -p /DataDisk #디렉토리 생성은 양쪽 서버에 수행
pcs resource create ClusterFS Filesystem device="/dev/vg_cluster/lv_storage" directory="/DataDisk" fstype="gfs2" "options=noatime" op monitor interval=10s on-fail=fence clone interleave=true