初探oVirt-小结后重做一遍ovirt环境

日期:2015/10/12 - 2015/12/16 time 09:25

主机:n72, n73, n86, n93

目的:初探oVirt-小结后重做一遍ovirt环境

操作内容:

一、基础环境
1、本次测试环境使用4台物理机来测试:n72, n73, n86, n93
CPU:    Intel(R) Xeon(R) CPU E5-2603 v2 @ 1.80GHz
内存:   32G    
硬盘:   系统盘sda + 数据盘sdb

ovirt-engine: e01(在n86上用virt-install手动创建的vm,安装vm和ovirt-engine的方法,前文有述略过不提)
ovirt-hosts: n72, n73, n93
ovirt-gluster: n72, n73, n93
NFS: n86
RSYNC: n93

2、配置NFS服务(n86)
1)安装服务
[root@n86 ~]# yum install nfs-utils -y
chkconfig rpcbind on
chkconfig nfs on
service rpcbind start
service nfs start
mkdir -p /data/ovirt/{data,export,iso} \
&& chown -R 36:36 /data/ovirt  \
&& chmod -R 0755 /data/ovirt  \
&& cat <<'_EOF' >>/etc/exports
/data/ovirt/data  *(rw,sync,no_subtree_check,all_squash,anonuid=36,anongid=36)
/data/ovirt/export  *(rw,sync,no_subtree_check,all_squash,anonuid=36,anongid=36)
/data/ovirt/iso  *(rw,sync,no_subtree_check,all_squash,anonuid=36,anongid=36)
_EOF
exportfs -arv

2)调整nfs端口
[root@n86 ~]# mv /etc/sysconfig/nfs /etc/sysconfig/nfs.bak`date +%Y%m%d%H%M%S` \
&& cat <<'_EOF' >>/etc/sysconfig/nfs
RPCRQUOTADOPTS="-p 875"
LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
RPCNFSDCOUNT=8
RPCMOUNTDOPTS="-p 892"
STATDARG="-p 662 -o 2020"
_EOF
service rpcbind restart
service nfs restart

3)最后调整防火墙的配置:
[root@n86 ~]# sed -i.backup '/-A INPUT -i lo -j ACCEPT/a\## NFS related \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 111 -j ACCEPT \
-A INPUT -p udp -m state --state NEW -m udp --dport 111 -j ACCEPT \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 662 -j ACCEPT \
-A INPUT -p udp -m state --state NEW -m udp --dport 662 -j ACCEPT \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 875 -j ACCEPT \
-A INPUT -p udp -m state --state NEW -m udp --dport 875 -j ACCEPT \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 892 -j ACCEPT \
-A INPUT -p udp -m state --state NEW -m udp --dport 892 -j ACCEPT \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 2049 -j ACCEPT \
-A INPUT -p udp -m state --state NEW -m udp --dport 32769 -j ACCEPT \
-A INPUT -p tcp -m state --state NEW -m tcp --dport 32803 -j ACCEPT \
# \
' /etc/sysconfig/iptables
[root@n86 ~]# service iptables reload

先从外边的其他机器访问来测试一下:
【调整前】
[root@e01 ~]# showmount -e 10.50.200.86
rpc mount export: RPC: Unable to receive; errno = No route to host

【调整后】
[root@e01 ~]# showmount -e 10.50.200.86
Export list for 10.50.200.86:
/data/ovirt/iso    *
/data/ovirt/export *
/data/ovirt/data   *

符合预期。


3、网络配置
1)几台主机的网络划分:
管理网段:10.50.200.0/24

2)hosts
[root@vm220 ~]# yum -y install dnsmasq
[root@vm220 ~]# cat /etc/hosts
10.50.200.30 e01.test
10.50.200.72 n72.test
10.50.200.73 n73.test
10.50.200.86 n86.test
10.50.200.93 n93.test






二、配置ovirt
1、新增集群
数据中心:Default
集群名称:Host-Only
CPU类型:选择SandyBridge
启用 Virt 服务:勾选(默认)
启用 Gluster 服务:不勾选(不建议 Virt 和 Gluster 同时启用。理由是: Gluster 服务相对比较容易出现异常,这个时候,将会对 Virt 服务也造成影响。)
创建。

3、新增主机
增加n72,n73,n93
【选择菜单:“数据中心-Default-主机-新建”】
数据中心:Default
主机集群:Host-Only
名称:n72.test
地址:n72.test
密码:xxx
【电源管理】
启用电源管理:勾选
地址:idrac的IP
用户名:root
密码:xxx
类型:drac7
测试:Test Succeeded, on
确定。

4、增加存储域
【选择菜单:“数据中心-Default-存储-新建域”】

【data域】
名称:data-nfs
域功能/存储类型:Data/NFS
使用主机:n93.test
路径:n86.test:/data/ovirt/data

【export域】
名称:export-nfs
域功能/存储类型:Export/NFS
使用主机:n93.test
路径:n86.test:/data/ovirt/export

后续在建立vm和模版后,建议立即导出到export域中备份。

【iso域】
名称:iso-nfs
域功能/存储类型:ISO/NFS
使用主机:n93.test
路径:n86.test:/data/ovirt/iso

拷贝一个ISO文件到iso域中:
[root@n86 11111111-1111-1111-1111-111111111111]# pwd
/data/ovirt/iso/a1373048-e959-4ec7-b1f3-97ad58299ae4/images/11111111-1111-1111-1111-111111111111
[root@n86 11111111-1111-1111-1111-111111111111]# chown 36:36 CentOS-6.5-x86_64-bin-DVD1.iso
[root@n86 11111111-1111-1111-1111-111111111111]# ll -h
total 4.2G
-rw-r--r-- 1 vdsm kvm 4.2G Jul 24  2014 CentOS-6.5-x86_64-bin-DVD1.iso


【附】使用glusterfs类型的主机的方式(本次操作略过,未使用;使用手动管理的glusterfs服务,请参考附录1)
----------------------------------------------------------------------
假设有3台主机(n1,n2,n3)提供glusterfs服务。
首先,在主机上新建目录:
/data/gv0

其次,用ovirt管理卷:
【选择菜单:“集群-GlusterOnly-卷-新建卷”】
名称:gv0
类型:replicate
Replica Count:3
主机:g1,g2,g3
Brick 目录:/data/gv0/brick1
确定
为 Virt 库进行优化:勾选(后续也可选,主要是配置了gluster的一些参数,例如gid和uid设定为36)
创建。
启动。

最后,提供服务:
【选择菜单:“数据中心-Default-存储-新建域”】
【data域】
名称:data-gv0
域功能/存储类型:Data/GlusterFS
使用主机:n93.test
路径:g1.test:/gv0
挂载选项:backupvolfile-server=g2.test,backupvolfile-server=g3.test
----------------------------------------------------------------------




6、新建vm
【选择菜单:“数据中心-Default-虚拟机-新建虚拟机”】
集群:Host-Only/Default
操作系统:Red Hat Enterprise Linux 6.x x84
名称:vm4tpl-s1
注释:centos6u5x64-c1-2g-d20g-if1

nic1:ovirtmgmt
时区:GMT+8
确定。

配置虚拟磁盘
大小:20
别名:vm4tpl-s1_Disk1
描述:vmdisk_os

激活:勾选
可引导:勾选
确定。

【选择菜单:“数据中心-Default-虚拟机-只运行一次”】
【引导选项】
附加CD:勾选
确定。

【选择菜单:“数据中心-Default-虚拟机-控制台”】
打开spice窗口安装系统(请参考前文)。
--- 配置系统 ---
网卡:开机启动,DHCP
root密码
时区:Shanghai
UTC:不勾选
分区:
/boot   200 M
/swap   2048 M(同内存大小)
/       all
软件包:basic server
安装完成后,reboot



三、将上一步创建的vm制作成模版前的准备工作(封装linux)
1、--- 安装常用软件 ---
[root@localhost ~]# yum -y install bind-utils lrzsz man ntp openssh-clients rsync traceroute vim wget tree 
注意sshd的配置中,保证passwd的验证方式是开启的。

2、--- 使用ntpd服务来控制vm的时间同步 ---
先更新一次:
[root@localhost ~]# /usr/sbin/ntpdate stdtime.gov.hk

[root@localhost ~]# sed -i.backup '/server 0.centos.pool.ntp.org iburst/i\## NTP related \
server stdtime.gov.hk iburst \
server 0.asia.pool.ntp.org iburst \
server 1.asia.pool.ntp.org iburst \
server 2.asia.pool.ntp.org iburst \
\
' /etc/ntp.conf

启动ntpd服务:
[root@localhost ~]# service ntpd start
[root@localhost ~]# chkconfig ntpd on

3、--- 安装 ovirt-guest-agent ---
在vm上先安装ovirt-release35.rpm这个yum源。
[root@localhost ~]# yum -y install http://plain.resources.ovirt.org/pub/yum-repo/ovirt-release35.rpm
[root@localhost ~]# yum -y install ovirt-guest-agent
启动服务
[root@localhost ~]# service ovirt-guest-agent start
[root@localhost ~]# chkconfig ovirt-guest-agent on
重启一次,测试一下ovirt页面对vm的控制是否生效。

--- 安装 cloud-init ---
请参考“初探oVirt-使用cloud-init”


4、手动清理在创建虚拟机时可能导致冲突的配置
--- 清理cloud-init ---
rm /var/lib/cloud -fr

--- 清理hostname ---
cat <<'_EOF' >/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=localhost.localdomain
_EOF

--- 清理网卡相关 ---
sed -i -e '/UUID/d' -e '/HWADDR/d' -e '/ONBOOT/d' -e '/BOOTPROTO/d' \
-e '/IPADDR/d' -e '/NETMASK/d' -e '/GATEWAY/d' \
-e '/TYPE=Ethernet/a\ONBOOT=no\nBOOTPROTO=dhcp' /etc/sysconfig/network-scripts/ifcfg-eth*

--- 清理ssh相关 ---
rm -f /etc/ssh/ssh_host_*
rm /root/.ssh -fr 

--- 清理log ---
find /var/log -type f -delete
find /root -type f ! -name ".*" -delete


--- 最后一步 ---
手动配置(不想重置root密码和其他服务,如果通过sys-unconfig将会这样操作)
--- 清理 udev 和history ---
rm /etc/udev/rules.d/*-persistent-*.rules -f
history -c

--- 关机 ---
# poweroff



五、模版和导出
1、模版
【选择菜单:“数据中心-Default-虚拟机-创建模版”】
名称:tpl-s1
描述:c1-2g-d20g-if1
注释:centos6u5x64-small


2、测试新建虚拟机
【选择菜单:“数据中心-Default-虚拟机-新建虚拟机”】
基于模版:tpl-s1
名称:test01
确定。

【选择菜单:“数据中心-Default-虚拟机-只运行一次”】
【初识运行】
使用 Cloud-Init:勾选
设定vm名称等项目后,确定。


3、导出
【选择菜单:“数据中心-Default-虚拟机(选择指定的虚拟机)-导出”】
【选择菜单:“数据中心-Default-模版(选择指定的模版)-导出”】


4、调整vm
【选择菜单:“数据中心-Default-虚拟机”】
名称:vm4tpl-s1
选中vm,选择下方菜单:“磁盘-取消激活”
目的:将这个制作模版的vm的磁盘设置成未激活的状态,以免误操作启动了这个vm


六、测试engine的备份和恢复
1、从应用层面和kvm层面着手尝试。

2、#####----- 【应用层面】 -----#####
【备份】
d_bak="/tmp/ovirt_engine_backup/`date +%Y%m%d_%H%M%S`"
f_log="/tmp/rsync_ovirt_bak.txt"
[ -d ${d_bak} ] || mkdir -p ${d_bak}
cd ${d_bak}
engine-backup --mode=backup --file=ovirt-engine.bak --log=backup.log >${f_log} 2>&1

【恢复】
未验证。作为备用方案。
请参考:http://www.ovirt.org/Ovirt-engine-backup#Restore
或:初探oVirt-体验


3、#####----- 【kvm 层面】 -----#####
1)克隆vm并归档(参考附录2的脚本)
[root@n86 bin]# sh /usr/local/bin/rsync_bak_kvm_images.sh
     
2)恢复
对比xml可以发现,克隆的对象修改了以下内容:
name
uuid
source file
mac address
graphics

编辑clone的镜像对应的xml文件:
D1)调整name(可选,使用原来的即可,例如:e01.test)
D2)替换uuid为原来的e01.test对应的uuid,如果这个已经不可用,已经undefine掉,则直接删除uuid即可,后续会自动生成
D3)调整source file对应的镜像文件名称(可选)
D4)将mac地址更换为e01.test的mac
D5)调整vnc密码,端口等(可选)
调整完毕后:
virsh define e01.test
virsh start e01.test



4、场景
1)测试engine的备份和恢复
【场景1】使用新克隆的的vm来运行engine(e01.test-clone)
--- 现象 ---
先克隆 vm(e01.test) 为 e01.test-clone
再关闭 e01.test
最后使用 e01.test-clone
--- 结果 ---
engine页面:正常。

【场景2】使用旧的vm来运行engine(e01.test)
--- 现象 ---
上一步使用e01.test-clone的时候,启动了一个vm(vm01,状态为“UP”)
过了2小时后,停止e01.test-clone,恢复使用e01.test
--- 结果 ---
engine页面:正常。

【场景3】使用昨天备份的副本(e01.test-clone)之前,在engine(e01.test)页面上操作增加了1个vm(vm02),且这个vm处于running状态,此时停止engine(e01.test)所在的VM,再恢复昨天的副本(e01.test-clone),问题是,这个新增的vm(vm02)可以在engine(e01.test)上正常运行吗?
--- 现象 ---
昨天的副本运行后:engine(e01.test-clone)也可以工作,但 vm02 被识别成“external-vm02”,可以强制关机,但无法再启动这个VM,启动时报错:“无法 运行 VM。引擎没有管理这个虚拟机。”
--- 结果 ---
engine页面:异常。
结论:engine可以正常运作,但这一天所做的操作(新增或删除vm、磁盘等要记录到db中的行为)将会丢失。当然,任何备份方式也无法避免这种情况,只能尽量降低损失。



2)外部创建的vm如何导入ovirt平台。如果可行,则可以继续尝试将xen,vmware上运行的vm转换为kvm导入ovirt平台。
【场景4】手动在主机n73上创建并运行一个vm(tvm01),engine的也可以识别吗?
--- 现象 ---
virsh的命令行可以正常管理;但engine页面不能显示这个vm,完全不会感知到它的存在。
--- 结果 ---
engine页面:正常。
结论:外边创建的vm不能直接被engine识别。



5、结论
1)建议    同时启用2种备份方式。
2)不可行  外部创建的vm不能直接导入ovirt平台,因此,将xen,vmware上运行的vm转换为kvm再导入ovirt平台的想法将遇到麻烦。
3)不建议  在使用虚拟化管理平台的同时,手动使用virsh配置,这将导致行为和数据的不一致。





四、附录1【glusterfs】
1、使用glusterfs集群作为ovirt-engine的后端存储和engine的备份卷
本次示例,由3个副本组成的集群,节点包括:
node33.glusterfs
node34.glusterfs
node35.glusterfs

2、手动管理glusterfs服务。
配置 卷 e01_data:挂载作为 ovirt-engine 的 data 域 
配置 卷 gv4kvm:挂载作为 ovirt-engine 所在 kvm 的备份卷

--------------- 配置 卷 e01_data ---------------
【创建卷】
创建卷 e01_data 作为主数据域:
mkdir -p /data/e01.test
gluster volume create e01_data replica 3 transport tcp \
node33.glusterfs:/data/e01.test/engine_data \
node34.glusterfs:/data/e01.test/engine_data \
node35.glusterfs:/data/e01.test/engine_data

【启动】
[root@n86 ~]# gluster volume start e01_data
【配置参数】
gluster volume set e01_data diagnostics.count-fop-hits on
gluster volume set e01_data diagnostics.latency-measurement on
gluster volume set e01_data storage.owner-gid 36
gluster volume set e01_data storage.owner-uid 36 
gluster volume set e01_data cluster.server-quorum-type server
gluster volume set e01_data cluster.quorum-type auto
gluster volume set e01_data network.remote-dio enable
gluster volume set e01_data cluster.eager-lock enable
gluster volume set e01_data performance.stat-prefetch off
gluster volume set e01_data performance.io-cache off
gluster volume set e01_data performance.read-ahead off
gluster volume set e01_data performance.quick-read off
gluster volume set e01_data auth.allow \*
gluster volume set e01_data user.cifs enable
gluster volume set e01_data nfs.disable off

【挂载】
ovirt-engine,选择菜单:“数据中心-Default-存储-新建域”
名称:data-e01_data
域功能/存储类型:Data/GlusterFS
使用主机:n93.test
路径:node35.glusterfs:/e01_data
挂载选项:backupvolfile-server=node33.glusterfs,backupvolfile-server=node34.glusterfs
--------------- 配置 卷 e01_data ---------------
--------------- 配置 卷 e01_bak_kvm ---------------
【创建卷】
创建卷 e01_bak_kvm 作为kvm备份卷:
gluster volume create e01_bak_kvm replica 3 transport tcp \
node33.glusterfs:/data/e01.test/bak_kvm \
node34.glusterfs:/data/e01.test/bak_kvm \
node35.glusterfs:/data/e01.test/bak_kvm

【启动】
[root@n86 ~]# gluster volume start e01_bak_kvm
【挂载】
[root@n86 ~]# mkdir /backup
mount.glusterfs node35.glusterfs:/e01_bak_kvm -o backupvolfile-server=node33.glusterfs,backupvolfile-server=node34.glusterfs /backup
[root@n86 ~]# df -h /backup
Filesystem                     Size  Used Avail Use% Mounted on
node35.glusterfs:/e01_bak_kvm   11T   17G   11T   1% /backup
--------------- 配置 卷 e01_bak_kvm ---------------


五、附录2【rsync_bak_kvm_images.sh】   
1、脚本
[root@n86 bin]# cat /usr/local/bin/rsync_bak_kvm_images.sh
#!/bin/bash
#
# 2015/12/16

s_vm='e01.test'                                         # 源 vm 的名称
s_vm_clone="${s_vm}-clone"                              # 克隆后的 vm 名称 
d_vm_img='/data/kvm/images'                             # 源 vm 的磁盘镜像目录
f_vm_img_clone="${d_vm_img}/${s_vm}-vda-clone.qcow2"    # 源 vm 的磁盘镜像文件路径
d_bak_root="/data/backup/VMs/${s_vm}"                   # 本地 备份目录
s_date=$(date +%Y%m%d)                                  # 日期
d_clone="${d_bak_root}/${s_date}"                       # 当前备份存放目录
d_logs='/data/backup/logs'                              # 备份日志存放目录
f_bak_log="${d_logs}/clone_${s_date}.log"               # 日志文件路径

function do_clone_vm() {
    ### 【1】
    echo '#virsh# list --all' && virsh list --all |grep ${s_vm}
    echo "[1] `date` [INFO] 准备克隆。"
    virsh suspend ${s_vm}
    echo '#virsh# list --all' && virsh list --all |grep ${s_vm}
    ret=$?
    virt-clone -o e01.test --auto-clone
    [ ${ret} -eq 0 ] && virsh resume ${s_vm}
    echo '#virsh# list --all' && virsh list --all |grep ${s_vm}
    echo "[1] `date` [INFO] step 1 完成。"
    ### 【2】
    echo "[2] `date` [INFO] 收集 xml 和 images 并拷贝到本地存储。"
    cp -fv /etc/libvirt/qemu/${s_vm}.xml ${d_clone}
    mv -fv /etc/libvirt/qemu/${s_vm_clone}.xml ${d_clone}
    mv -fv ${f_vm_img_clone} ${d_clone} 
    echo "[2] `date` [INFO] step 2 完成。"
    ### 【3】
    echo "[3] `date` [INFO] 移除克隆的 VM"
    virsh undefine ${s_vm_clone}
    echo "[3] `date` [INFO] step 3 完成。"
}


function do_clean() {
    echo "[4] `date` [INFO] 清理7天前的 VM"
    find ${d_bak_root} -mtime +7 -print
    find ${d_bak_root} -mtime +7 -delete
    echo "[4] `date` [INFO] step 4 完成。"
}


function do_rsync() {
    rsync -av --delete --password-file=/etc/rsync.pass $1  [email protected]::bak_kvm_images
}


function do_bak() {
    mkdir -pv ${d_clone} ${d_logs}
    do_clone_vm
    do_clean
    do_rsync ${d_bak_root}
}


function do_alert() {
    do_bak >${f_bak_log} 2>&1
    if [ $? -eq 0 ];then
        retval="OK"
    else
        retval="Failed"
    fi

    ## sendEmail args
    mail_bin="sendEmail -s smtp.xxx.com \
                        -xu [email protected] \
                        -xp xxx \
                        -f [email protected] \
                        -o message-charset=utf-8"
    to="[email protected]"
    subject="sz kvm backup ${retval}"
    body="from ${HOSTNAME}: $0"
    ${mail_bin} -t ${to} -u ${subject} -m ${body} -a ${f_bak_log}
}

do_alert


你可能感兴趣的:(nfs,gluster,Ovirt,cloud-init)