Rancher StorageClass之ScaleIO

一. 安装ScaleIO集群gateway

• 准备工作：

1. 我们选择安装一个三个节点的集群,这里我们演示使用Google Cloud云服务器
   node1 sd1 10.142.0.5
   node1 sd2 10.142.0.6
   node1 sd3 10.142.0.7
2. 操作系统为 Centos7，各自挂载一块500G数据盘(/dev/sdb)
3. 我们选择在node1节点安装scale-gatway服务，配置开启三台机器允许root用户登陆，和允许密码登陆，设置root用户密码，并测试通过在node1节点 ssh [email protected]/6/7 三台机器密码登陆成功（此处仅演示配置集群，使用默认root用户配置服务，请自行搜索如何配置密码登陆）
4. 下载安装需要的rpm数据文件

#  安装java及相关依赖
sudo yum install -y  libnuma*  libaio java-1.8.0-openjdk.x86_64 openssl
mkdir /root/scaleio
cd /root/scaleio
# 下载资源包，将会在安装过程中传输到其他节点并安装
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-gateway-2.5-0.254-x64.msi
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-gateway-2.5-0.254.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-gui-2.5-0.254.deb
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-gui-2.5-0.254.msi
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-gui-2.5-0.254.noarch.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-lia-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-mdm-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sdc-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sds-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sds1-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sds2-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sds3-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-sds4-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-ScaleIO-xcache-2.5-0.254.el7.x86_64.rpm
wget http://ftp.ufanet.ru/pub/scaleio/RH/2.5.0.254/RHEL7/EMC-scaleio-gateway_2.5-0.254_amd64.deb

# 设置scale-gateway admin用户密码
export GATEWAY_ADMIN_PASSWORD=123456
# export GATEWAY_RUN_USER=xxx
# 安装gateway服务
rpm -ivh /root/scaleio/EMC-ScaleIO-gateway-2.5-0.254.x86_64.rpm
# 启动gateway服务
systemctl  start scaleio-gateway
systemctl enable scaleio-gateway

二. 开始安装ScaleIO集群

1. 访问https://10.142.0.5即可访问到ScaleIO Installer

   
   
   image.png
   
   

   使用用户名：admin 密码：123456(GATEWAY_ADMIN_PASSWORD设置)

2. 进入到集群配置页面
   
   image.png
   
   在此处上传依赖包，用于节点安装，由于下载较慢，可以选择在服务器端下载，随便选择一个较小的包下载到本地再上传，然后在node1 上会生成/opt/emc/scaleio/gateway/temp/scaleio 目录，把上述的/root/scaleio/下的包都拷贝到此目录即可，刷新页面可以看到所有包已经上传。
3. 选择csv上传节点配置模式，你也可以使用Install Wizard快捷创建
   
   image.png
   
   csv样例：
   
   image.png
   
   可以从页面下载到csv模版修改并上传，点击Upload installation CSV开始安装程序，再monitor页面点击开始安装即可看到各个节点的安装情况，如失败可查看原因，上述的libnuma* libaio包即在这里发现错误的，故提前安装
   (这张没截图请见谅)
   安装完成后可以看到成功页面：
   
   image.png

三. 完成集群安装，安装配置客户端

1. 在Ubuntu下安装 EMC-ScaleIO-gui-2.5-0.254.deb ，安装完成后安装目录下run.sh运行即可，需要又ubuntu GUI桌面哦，因为是java客户端程序，当然也可以拷贝启动脚本到mac下运行的，windows也可以直接安装windows客户端程序： EMC-ScaleIO-gui-2.5-0.254.msi
2. 启动客户端 .../run.sh

image.png

输入GCP中实例公网ip连接即可账号admin密码即步骤二中，上传csv后设置的MDM密码，进入管理页面：

image.png

安装就这样完成了，炫酷～

四. 配置Rancher使用scaoleIO

1. 准备工作：在配置页面 Backend选项卡下修改对应的system name 因为默认创建的 system为随机id，Procetion Domain为default，可以将system name修改成例如：sn1

2. 创建连接scaleio的secret(name: sio-srcret)：
   kubectl create secret generic sio-secret --type="kubernetes.io/scaleio" \ --from-literal=username=admin --from-literal=password=mdmpassword \ --namespace=default

3. 创建storageclass：

   
   
   image.png
   
   

   或者

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: slow
provisioner: kubernetes.io/scaleio
parameters:
  gateway: https://10.142.0.5/api
  # 配置为Backend中的system name，默认不修改创建pv会有错误 ·systemid or systemname not found·
  system: sn1
  protectionDomain:default
  storagePool:default
  storageMode: ThinProvisioned
  secretRef: sio-secret
  readOnly: false
  fsType: xfs

完成Kuberntes 连接ScaleIO

Kubernetes Scaleio StorageClass相关文档链接：https://kubernetes.io/docs/concepts/storage/storage-classes/#scaleio

四. 创建pvc测试

• 不支持多主机读写:

  
  
  image.png
  
  

  可以查看创建成功的pv

  
  
  image.png
  
  
  image.png

到此教程结束，本文仅供测试学习使用，如需使用请购买EMC ScaleIO License。

附： emc 2.x操作手册：https://www.emc.com/collateral/technical-documentation/scaleio-user-guide.pdf