CentOS7 HA Cluster 구축 하기
* 요구사항
 – 두대의 Private IP를 가진 서버, 별개의 VIP를 통한 Failover 구성
 – 상기 두개의 서버에서 1개의 공유 스토리지 사용 : Block Storage, GFS2, 100GB/1000IOPS (성능은 맞추어서)
* 아키텍처
* HA 구성을 위한 리소스 구매
– Linux Server 2대 신청 : CentOS 7.x – Minimal Install (64 bit)
==>  svr01.mungi.com  10.178.80.44
==>  svr02.mungi.com  10.178.80.45
– Performance Storage 100GB/1000IOPS 신청
==>  대상 주소 :161.26.102.18
==>  허용서버 추가 (2대)
==>  svr01
   사용자명: IBM01SU1040169-V36035181
   패스워드: Sm99G8pgxSlfH3EG
   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V36035181
==>  svr02
   사용자명: IBM01SU1040169-V29352927
   패스워드: EZlHmrKzNgexS9ar
   호스트 IQN: iqn.2005-05.com.softlayer:IBM01SU1040169-V29352927
– VIP 사용을 위한 Portable Private IP 신청 
==>  10.178.5.230
* iSCSI연결
 
yum install -y iscsi-initiator-utils device-mapper-multipath
touch /etc/multipath.conf
systemctl start multipathd
systemctl enable multipathd
cp /etc/iscsi/initiatorname.iscsi{,.orig}
vi /etc/iscsi/initiatorname.iscsi #=> CloudZ포털에서 확인한 HOST IQN 값으로 변경
cp /etc/iscsi/iscsid.conf{,.orig}
vi /etc/iscsi/iscsid.conf  #=> 아래 항목을 주석 해제 및 CloudZ 포털에서 확인한 값으로 변경
    node.session.auth.authmethod = CHAP
    node.session.auth.username = "Username-value-from-SL-Portal"
    node.session.auth.password = "Password-value-from-SL-Portal"
    discovery.sendtargets.auth.authmethod = CHAP
    discovery.sendtargets.auth.username = "Username-value-from-SL-Portal"
    discovery.sendtargets.auth.password = "Password-value-from-SL-Portal"
systemctl enable iscsi
systemctl enable iscsid
systemctl start iscsi
systemctl start iscsid
systemctl status iscsid #=> active (running) 인지 확인
iscsiadm -m discovery -t sendtargets -p "161.26.102.18" #=> CloudZ 포털에서 확인한 IP 값으로 변경
iscsiadm -m node -L automatic
multipath -l #=> 아래 처럼 보여야 함
* Cluster 구성
/etc/hosts에 상대 정보 추가
10.178.80.44  svr01.mungi.com svr01
10.178.80.45  svr02.mungi.com svr02
==> VIP
yum install -y corosync pacemaker pcs resource-agents
systemctl start pcsd
systemctl enable pcsd
systemctl enable corosync
systemctl enable pacemaker
passwd hacluster                   #자동생성된 hacluster유저의 패스워드 설정
# --> 여기서 부터는 한쪽에서만 해도 됨.
pcs cluster auth svr01          #인증 계정 적용
pcs cluster auth svr02
# MyCluster 이름의 클러스터를 생성
#해당 클러스터엔 svr01 svr02 두대의 서버가 포함
#데이터 전송은 UDP통신을 사용하도록 설정
 
pcs cluster setup --start --name MyCluster svr01 svr02 --transport udpu
pcs property set stonith-enabled=false
pcs cluster start --all
pcs status #옵션 정상 구성확인, 계속볼려면 crm_mon
* VIP 클러스터 리소스 설정, Portable Private IP 사용
pcs resource create SVC_VIP IPaddr2 ip=10.178.77.230 cidr_netmask=32 nic=eth0:1 op monitor interval=5s  #사용할 VIP로 설정, 퍼블릭이면 eth1:1
* 스토리지 클러스터 리소스 설정
 
iscsiadm -m session  #각서버에서 세션 맺어진 것 확인
yum install -y fence-agents-scsi  gfs2-utils  lvm2-cluster
# multipath -l dev id 확인후 3600a098038303743372b4966496d724d 변경
pcs stonith create SCSI-STONITH fence_scsi devices=/dev/mapper/3600a098038303743372b4966496d724d pcmk_monitor_action=metadata  pcmk_reboot_action=off pcmk_host_list="svr01 svr02" meta provides=unfencing
pcs property set stonith-enabled=true
pcs property set no-quorum-policy=ignore
pcs property set default-resource-stickiness=100
#볼륨 매니저 설정
 
lvmconf --enable-cluster
pcs cluster cib dlm_cfg
pcs -f dlm_cfg resource create dlm ocf:pacemaker:controld op monitor interval=120s on-fail=fence clone interleave=true ordered=true
pcs -f dlm_cfg resource create clvmd ocf:heartbeat:clvm op monitor interval=120s on-fail=fence clone interleave=true ordered=true
pcs -f dlm_cfg constraint order start dlm-clone then clvmd-clone
pcs -f dlm_cfg constraint colocation add clvmd-clone with dlm-clone
pcs -f dlm_cfg property set no-quorum-policy=freeze
pcs -f dlm_cfg constraint
pcs -f dlm_cfg resource show
pcs cluster cib-push dlm_cfg
#디스크 파티션 구성 및 포맷
 
fdisk /dev/mapper/3600a098038303743372b4966496d724d
  n -> primary -> 계속 엔터, t -> 8e
partprobe /dev/mapper/3600a098038303743372b4966496d724d
pvcreate -ff /dev/mapper/3600a098038303743372b4966496d724d
vgcreate --clustered=y vg_cluster /dev/mapper/3600a098038303743372b4966496d724d
lvcreate -l 100%FREE --name lv_storage vg_cluster
mkfs.gfs2 -j2 -t MyCluster:DataDisk -p lock_dlm /dev/vg_cluster/lv_storage
# 디스크 마운트
 
mkdir -p /DataDisk  #디렉토리 생성은 양쪽 서버에 수행
pcs resource create ClusterFS Filesystem device="/dev/vg_cluster/lv_storage" directory="/DataDisk" fstype="gfs2" "options=noatime" op monitor interval=10s on-fail=fence clone interleave=true