CentOS7.5 安装Ceph

CentOS7.5 安装Ceph

目录

CentOS7.5 安装Ceph

1 关闭防火墙

2 更新内核

3 添加epel库

4 添加ceph软件库

5 在admin节点安装ceph-deploy、ntp

6 添加用户（如果使用root用户就不需要操作这步）

7 配置无密钥登录

8 修改ssh配置文件

9确保你的包管理器安装了优先级/首选项包，且已启用

10 新建一个集群目录

11 禁用requiretty

12如果在某些地方碰到麻烦，想从头再来，可以用下列命令清除配置：

13 创建集群

14 修改默认副本

15 如果多块网卡，可以添加public network

16 安装ceph

17 配置初始化monitor(s)，并收集所有秘钥：

18 添加两个OSD

19 在admin执行命令上准备OSD

20 激活OSD

21 用ceph-deploy把配置文件和admin秘钥拷贝到其他节点

22 确保当前用户对ceph.client.admin.keyring有正确的操作权限

23 检查集群的健康状况

---

参考ceph中文文档：http://docs.ceph.org.cn/

环境：

  在物理机上的/etc/hosts/上加入主机映射

  192.168.152.101 admin

  192.168.152.102 node1

1 关闭防火墙

# systemctl stop firewalld

# systemctl disable firewalld

如果使用iptables，要开放Ceph Monitors使用的6789端口和OSD使用的6800:7300端口范围，命令如下：

# sudo iptables -A INPUT -i {iface} -p tcp -s {ip-address}/{netmask} --dport 6789 -j ACCEPT

# iptables-save

 

2 更新内核

# yum update –y

更新完成后需要重启

 

3 添加epel库

# sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

 

4 添加ceph软件库

根据自己的版本修改，将rpm-后面修改成需要的ceph版本，将el7修改成Linux发行版本（如 el6 为 CentOS 6 、 el7 为 CentOS 7 、 rhel6 为 Red Hat 6.5 、 rhel7 为 Red Hat 7 、 fc19 是 Fedora 19 、 fc20 是 Fedora 20）

# vim /etc/yum.repos.d/ceph-deploy.repo         (这里如果是ceph.repo，后面ceph-deploy install 时执行会报错，你可以试试)

[ceph-noarch]

name=Ceph noarch packages

baseurl=http://download.ceph.com/rpm-kraken/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

5 在admin节点安装ceph-deploy、ntp

# yum install -y ceph-deploy ntp

 

6 添加用户（如果使用root用户就不需要操作这步）

将{username}改为自己的用户

# ssh user@ceph-server

# sudo useradd -d /home/{username} -m {username}

# sudo passwd {username}

# echo "{username} ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/{username}

# sudo chmod 0440 /etc/sudoers.d/{username}

 

7 配置无密钥登录

在admin节点执行

# ssh-keygen

# ssh-copy-id admin

# ssh-copy-id node1

 

8 修改ssh配置文件

# vi ~/.ssh/config

Host node1

   Hostname node1

   User {username}

Host node2

   Hostname node2

   User {username}

Host node3

   Hostname node3

   User {username}

 

这里我只有node1

所以就填

Host node1

   Hostname node1

   User root

 

9确保你的包管理器安装了优先级/首选项包，且已启用

# sudo yum install yum-plugin-priorities

 

 

10 新建一个集群目录

# mkdir my-cluster

# cd my-cluster

 

11 禁用requiretty

在某些发行版（如 CentOS ）上，执行 ceph-deploy 命令时，如果你的 Ceph 节点默认设置了 requiretty 那就会遇到报错。可以这样禁用此功能：执行 sudo visudo ，找到 Defaults requiretty 选项，把它改为 Defaults:ceph!requiretty ，这样 ceph-deploy 就能用 ceph 用户登录并使用 sudo 了。

## 这里我没有配置，因为我在配置文件中并没有找到这个选项，并且后面执行也没有报错

 

12如果在某些地方碰到麻烦，想从头再来，可以用下列命令清除配置：

# ceph-deploy purgedata {ceph-node} [{ceph-node}]

# ceph-deploy forgetkeys

用下列命令可以连 Ceph 安装包一起清除：

# ceph-deploy purge {ceph-node} [{ceph-node}]

 

13 创建集群

在my-cluster目录下执行这条命令

# ceph-deploy new admin

在当前目录会出现一个ceph的配置文件，一个monitor米要换和一个日志文件

 

14 修改默认副本

在配置文件中的global下添加    

osd pool default size = 2

官方文档是这样写的，我自己写的是osd_pool_default_size

 

15 如果多块网卡，可以添加public network

public network = {ip-address}/{netmask}

 

16 安装ceph

# ceph-deploy install admin node1

 

如果报这个错误 [ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: ‘Ceph’

可以将ceph.repo改名为ceph-deploy.repo来解决这个问题

 

17 配置初始化monitor(s)，并收集所有秘钥：

# ceph-deploy mon create-initial

完成上述操作后，当前目录会出现这些秘钥环

# ls *keying

admin.client.admin.keyring

admin.bootstrap-osd.keyring

admin.bootstrap-mds.keyring

admin.bootstrap-rgw.keyring

(只有在安装 Hammer 或更高版时才会创建 bootstrap-rgw 密钥环)

如果此步失败并输出类似于如下信息 “Unable to find /etc/ceph/ceph.client.admin.keyring”，请确认 ceph.conf 中为 monitor 指定的 IP 是 Public IP，而不是 Private IP。

则需要执行ceph-deploy purge admin node1清除安装，修改public ip，在执行刚刚的操作

 

18 添加两个OSD

这里用的是目录而非整块硬盘

分别在admin和node1节点上给OSD守护进程创建一个目录

并且给予权限（我安装时不给权限报错了）

[root@admin ~]# sudo mkdir /var/local/osd0

[root@admin ~]# chmod 777 /var/local/osd0

[root@node1 ~]# sudo mkdir /var/local/osd1

[root@node1 ~]# chmod 777 /var/local/osd1

 

19 在admin执行命令上准备OSD

# ceph-deploy osd prepare admin:/var/local/osd0 node1:/var/local/osd1

 

20 激活OSD

# ceph-deploy osd activate admin:/var/local/osd0 node1:/var/local/osd1

 

21 用ceph-deploy把配置文件和admin秘钥拷贝到其他节点

这样每次执行ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring

# ceph-deploy admin admin-node node1

 

22 确保当前用户对ceph.client.admin.keyring有正确的操作权限

# sudo chmod +r /etc/ceph/ceph.client.admin.keyring

 

23 检查集群的健康状况

# ceph health