ceph学习(三) 离线安装ceph_10.9

一. 准备工作

1.1 环境:

linux版本:

CentOS Linux release 7.4.1708 (Core)

ceph 版本:10.2.9

ceph version 10.2.9 (2ee413f77150c0f375ff6f10edd6c8f9c7d060d0)

ceph-deploy 版本: 1.5.39
http://download.ceph.com/rpm-jewel/el7/noarch/

# ceph-deploy --version
1.5.39

ceph官网rpm包下载:http://download.ceph.com/rpm-jewel/el7/

rpm包list

-rw-r--r--. 1 root root      23000 4月   4 14:28 argparse-1.4.0-py2.py3-none-any.whl
-rw-r--r--. 1 root root      67624 4月   4 14:26 autogen-libopts-5.18-5.el7.x86_64.rpm
-rw-r--r--. 1 root root       5605 4月   4 14:28 backports.ssl_match_hostname-3.5.0.1.tar.gz
-rw-r--r--. 1 root root      62432 4月   4 14:26 boost-iostreams-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root     159424 4月   4 14:26 boost-program-options-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root      40044 4月   4 14:26 boost-random-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root     307448 4月   4 14:26 boost-regex-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root      40532 4月   4 14:26 boost-system-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root      58712 4月   4 14:26 boost-thread-1.53.0-27.el7.x86_64.rpm
-rw-r--r--. 1 root root       3032 4月   4 14:26 ceph-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    4386004 4月   4 14:26 ceph-base-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root   17334804 4月   4 14:26 ceph-common-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root 1317130384 4月   4 14:28 ceph-debuginfo-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root     290292 4月   4 14:28 ceph-deploy-1.5.39-0.noarch.rpm
-rw-r--r--. 1 root root       3252 4月   4 14:28 ceph-devel-compat-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      23224 4月   4 14:28 cephfs-java-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    1939560 4月   4 14:28 ceph-fuse-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root       3216 4月   4 14:28 ceph-libs-compat-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    2926812 4月   4 14:28 ceph-mds-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    2925320 4月   4 14:28 ceph-mon-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    9497684 4月   4 14:28 ceph-osd-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root     271680 4月   4 14:28 ceph-radosgw-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root       6600 4月   4 14:28 ceph-resource-agents-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      20476 4月   4 14:28 ceph-selinux-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root   76266452 4月   4 14:28 ceph-test-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      95840 4月   4 14:28 createrepo-0.9.9-28.el7.noarch.rpm
-rw-r--r--. 1 root root     131104 4月   4 14:28 cryptsetup-1.7.4-3.el7_4.1.x86_64.rpm
-rw-r--r--. 1 root root     227852 4月   4 14:28 cryptsetup-libs-1.7.4-3.el7_4.1.x86_64.rpm
-rw-r--r--. 1 root root      83984 4月   4 14:28 deltarpm-3.6-3.el7.x86_64.rpm
-rw-r--r--. 1 root root      15080 4月   4 14:28 epel-release-7-11.noarch.rpm
-rw-r--r--. 1 root root      47816 4月   4 14:28 fcgi-2.4.0-25.el7.x86_64.rpm
-rw-r--r--. 1 root root     191380 4月   4 14:28 gdisk-0.8.6-5.el7.x86_64.rpm
-rw-r--r--. 1 root root     278772 4月   4 14:28 gperftools-libs-2.4-8.el7.x86_64.rpm
-rw-r--r--. 1 root root      85348 4月   4 14:28 hdparm-9.43-5.el7.x86_64.rpm
-rw-r--r--. 1 root root     104752 4月   4 14:28 htop-2.1.0-1.el7.x86_64.rpm
-rw-r--r--. 1 root root     165208 4月   4 14:28 leveldb-1.12.0-11.el7.x86_64.rpm
-rw-r--r--. 1 root root     150356 4月   4 14:28 libbabeltrace-1.2.4-3.el7.x86_64.rpm
-rw-r--r--. 1 root root    1945304 4月   4 14:28 libcephfs1-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      14052 4月   4 14:28 libcephfs1-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    1644100 4月   4 14:28 libcephfs_jni1-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root       3540 4月   4 14:28 libcephfs_jni1-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    1990540 4月   4 14:28 librados2-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root     488244 4月   4 14:28 librados2-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    1910004 4月   4 14:28 libradosstriper1-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root       8968 4月   4 14:28 libradosstriper1-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    2624416 4月   4 14:28 librbd1-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      13580 4月   4 14:28 librbd1-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    3069436 4月   4 14:28 librgw2-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root       6260 4月   4 14:28 librgw2-devel-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      58180 4月   4 14:28 libunwind-1.2-2.el7.x86_64.rpm
-rw-r--r--. 1 root root     252528 4月   4 14:28 libxml2-python-2.9.1-6.el7_2.3.x86_64.rpm
-rw-r--r--. 1 root root     180520 4月   4 14:28 lttng-ust-2.4.1-4.el7.x86_64.rpm
-rw-r--r--. 1 root root      31264 4月   4 14:28 mailcap-2.1.41-2.el7.noarch.rpm
-rw-r--r--. 1 root root     560368 4月   4 14:28 ntp-4.2.6p5-25.el7.centos.2.x86_64.rpm
-rw-r--r--. 1 root root      87648 4月   4 14:28 ntpdate-4.2.6p5-25.el7.centos.2.x86_64.rpm
-rw-r--r--. 1 root root    1063520 4月   4 14:28 ntp-doc-4.2.6p5-25.el7.centos.2.noarch.rpm
-rw-r--r--. 1 root root    1400985 4月   4 14:28 pip-9.0.3-py2.py3-none-any.whl
-rw-r--r--. 1 root root     144300 4月   4 14:28 psmisc-22.20-15.el7.x86_64.rpm
-rw-r--r--. 1 root root    1749308 4月   4 14:28 python2-pip-8.1.2-5.el7.noarch.rpm
-rw-r--r--. 1 root root    1426348 4月   4 14:28 python-babel-0.9.6-8.el7.noarch.rpm
-rw-r--r--. 1 root root       5932 4月   4 14:28 python-backports-1.0-8.el7.x86_64.rpm
-rw-r--r--. 1 root root      12144 4月   4 14:28 python-backports-ssl_match_hostname-3.4.0.2-4.el7.noarch.rpm
-rw-r--r--. 1 root root       3140 4月   4 14:28 python-ceph-compat-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      80120 4月   4 14:28 python-cephfs-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root     232224 4月   4 14:28 python-chardet-2.2.1-1.el7_1.noarch.rpm
-rw-r--r--. 1 root root      32084 4月   4 14:28 python-deltarpm-3.6-3.el7.x86_64.rpm
-rw-r--r--. 1 root root     266704 4月   4 14:28 python-execnet-1.2.0-5.el7.noarch.rpm
-rw-r--r--. 1 root root     208808 4月   4 14:28 python-flask-0.10.1-4.el7.noarch.rpm
-rw-r--r--. 1 root root      24104 4月   4 14:28 python-itsdangerous-0.23-2.el7.noarch.rpm
-rw-r--r--. 1 root root     527832 4月   4 14:28 python-jinja2-2.7.2-2.el7.noarch.rpm
-rw-r--r--. 1 root root     273012 4月   4 14:28 python-kitchen-1.1.1-5.el7.noarch.rpm
-rw-r--r--. 1 root root      25792 4月   4 14:28 python-markupsafe-0.11-10.el7.x86_64.rpm
-rw-r--r--. 1 root root     149260 4月   4 14:28 python-rados-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      80628 4月   4 14:28 python-rbd-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      22716 4月   4 14:28 python-remoto-0.0.25-1.el7.noarch.rpm
-rw-r--r--. 1 root root      95804 4月   4 14:28 python-requests-2.6.0-1.el7_1.noarch.rpm
-rw-r--r--. 1 root root     406404 4月   4 14:28 python-setuptools-0.9.8-7.el7.noarch.rpm
-rw-r--r--. 1 root root      29404 4月   4 14:28 python-six-1.9.0-2.el7.noarch.rpm
-rw-r--r--. 1 root root     103696 4月   4 14:28 python-urllib3-1.10.2-3.el7.noarch.rpm
-rw-r--r--. 1 root root     575384 4月   4 14:28 python-werkzeug-0.9.1-2.el7.noarch.rpm
-rw-r--r--. 1 root root     443400 4月   4 14:28 rbd-fuse-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root    1655636 4月   4 14:28 rbd-mirror-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root     484532 4月   4 14:28 rbd-nbd-10.2.9-0.el7.x86_64.rpm
-rw-r--r--. 1 root root      25788 4月   4 14:28 redhat-lsb-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      38428 4月   4 14:28 redhat-lsb-core-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      16508 4月   4 14:28 redhat-lsb-cxx-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      20924 4月   4 14:28 redhat-lsb-desktop-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      18352 4月   4 14:28 redhat-lsb-languages-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      16520 4月   4 14:28 redhat-lsb-printing-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      15624 4月   4 14:28 redhat-lsb-submod-multimedia-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      15616 4月   4 14:28 redhat-lsb-submod-security-4.1-27.el7.centos.1.x86_64.rpm
-rw-r--r--. 1 root root      40932 4月   4 14:28 snappy-1.1.0-3.el7.x86_64.rpm
-rw-r--r--. 1 root root      47508 4月   4 14:28 tree-1.6.0-10.el7.x86_64.rpm
-rw-r--r--. 1 root root      74732 4月   4 14:28 userspace-rcu-0.7.16-1.el7.x86_64.rpm
-rw-r--r--. 1 root root      27676 4月   4 14:28 yum-plugin-priorities-1.1.31-42.el7.noarch.rpm
-rw-r--r--. 1 root root     120184 4月   4 14:28 yum-utils-1.1.31-42.el7.noarch.rpm

1.2 做yum源

参考https://www.jianshu.com/p/286fcef565ab

第三条:

ceph学习(三) 离线安装ceph_10.9_第1张图片
image.png

二. 安装ceph-deploy

2.1 安装 ntp与依赖


sudo yum install -y ntp ntpdate ntp-doc  libicu  fuse-libs libaio

2.2.3.允许无密码 SSH 登录

正因为 ceph-deploy 不支持输入密码,你必须在管理节点上生成 SSH 密钥并把其公钥分发到各 Ceph 节点。 ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。

生成 SSH 密钥对,但不要用。提示 “Enter passphrase” 时,直接回车,口令即为空:


##生成key
ssh-keygen


Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.

2.2.4设置hosts

sudo vi /etc/hosts
加上

192.168.1.7(用相对应的IP)  node1
192.168.1.19(用相对应的IP)  node2

2.2.5 把公钥拷贝到各 Ceph 节点上并测试

$ ssh-copy-id  root@node1

$ ssh-copy-id  roo@node2

##测试是否成功

ssh node1

ssh node2

2.2.6 关闭selinux 并重启

sudo vi /etc/selinux/config

2.3 安装ceph-deploy1.5.39

# yum install ceph-deploy -y

# ceph-deploy --version
1.5.39

三. 部署monitor , osd , rgw

3.1 部署monitor

首先, 在系统里防火墙启用ceph monitor osd 等服务所需要的端口.
# 添加端口
firewall-cmd  --zone=public --add-port=6789-8000/tcp --permanent


# 使配置生效
firewall-cmd --reload

# 查防火墙规则
firewall-cmd --zone=public --list-all
或者
firewall-cmd --list-all-zones     

3.1.1 在管理节点node上进行安装准备

 

mkdir /home/ceph-cluster

cd /home/ceph-cluster

3.1.2 安装ceph与ceph-radosgw

注意: 下面切换到root操作

sudo yum install ceph ceph-radosgw -y

3.1.3 创建一个群集

cd /home/ceph-cluster

ceph-deploy new node1 

3.1.4 在生成的ceph.conf中加入(写入[global] 段下)

sudo vi ceph.conf

加入下面一行(2个副本)
osd pool default size = 2

或者:

echo "osd pool default size = 2" >> ceph.conf

如果环境中有多种网络,那么需要在Ceph.conf的[global]部分下增加如下配置。

public network = {ip-address}/{netmask}

3.1.5配置初始 monitor(s)、并收集所有密钥

sudo ceph-deploy mon create-initial

3.1.6如果在任何时候遇到问题并想重新开始,请执行以下操作清除Ceph软件包,并清除所有数据和配置:

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*

3.2 新建osd (文件夹的方式)

3.2.1添加两个 OSD ,登录到 Ceph 节点、并给 OSD 守护进程创建一个目录。

ssh node2

sudo mkdir /var/local/osd0

sudo chown -R ceph:ceph /var/local/osd0

exit
 

ssh node3

sudo mkdir /var/local/osd1

sudo chown -R ceph:ceph /var/local/osd1
exit

3.2.2 然后,从管理节点执行 ceph-deploy 来准备 OSD

ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1

3.2.3 最后,激活 OSD

chown -R ceph:ceph /var/local/osd1/
ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1

3.21 新建osd节点 (硬盘的方式)以node3主机为例

3.21.1查看osd节点的硬盘情况 ,sda是系统盘, 这里要用/dev/sdb创建osd

[root@node3 ~]# lsblk 
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   50G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   49G  0 part 
  ├─centos-root 253:0    0   47G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0   20G  0 disk 
sr0              11:0    1 1024M  0 rom 

3.21.2 在mon上添加一个osd

sudo ceph-deploy osd create node3:/dev/sdb

3.21.3查看是否添加成功

ceph osd tree
ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.02917 root default                                     
-2 0.01459     host node2                                   
 0 0.01459         osd.0       up  1.00000          1.00000 
-3 0.01459     host node3                                   
 1 0.01459         osd.1       up  1.00000          1.00000 

使用ceph-disk 创建osd

Ceph 软件包提供了 ceph-disk 工具,用于准备硬盘:可以是分区或用于 Ceph 的目录。 ceph-disk 可通过递增索引来创建 OSD ID ;还能把 OSD 加入 CRUSH 图。 ceph-disk 的详细用法可参考 ceph-disk -h ,此工具把后面将提到的精简型里面的步骤都自动化了。为按照精简型创建前两个 OSD ,在 node2 和 node3 上执行下列命令:

创建osd挂载目录并改权限

mkdir /var/lib/ceph/osd

chown -R ceph:ceph /var/lib/ceph/osd

准备OSD。

ssh {node-name}
sudo ceph-disk prepare --cluster {cluster-name} --cluster-uuid {uuid} --fs-type {ext4|xfs|btrfs} {data-path} [{journal-path}]

例如:

ssh node1
sudo ceph-disk prepare --cluster ceph --cluster-uuid a7f64266-0894-4f1e-a635-d0aeaca0e993 --fs-type ext4 /dev/hdd1

激活 OSD:

sudo ceph-disk activate {data-path} [--activate-key {path}]

例如:

sudo ceph-disk activate /dev/hdd1

注: 如果你的 Ceph 节点上没有 /var/lib/ceph/bootstrap-osd/{cluster}.keyring ,那么应该外加 --activate-key 参数。

删除osd
ceph osd out 1
systemctl stop ceph-osd@1
ceph osd crush remove osd.1
ceph auth del osd.1
ceph osd rm 1



rm -rf /var/lib/ceph/osd/osd-1

fdisk /dev/sdb

3.3 部署RGW

3.3.1 安装RGW实例

yum install ceph-radosgw -y
ceph-deploy admin node1
ceph-deploy rgw create node1

3.3.2 测试

curl http://node1:7480

如果RGW运行正常,它应该返回类似的信息:


  
    anonymous
    
  
  

3.3.3 打开防火墙

添加7480
firewall-cmd --permanent --add-port=7480/tcp

#reload使生效
firewall-cmd --reload

使用浏览器访问:


ceph学习(三) 离线安装ceph_10.9_第2张图片
使用浏览器访问

你可能感兴趣的:(ceph学习(三) 离线安装ceph_10.9)