nfs+ceph+iscsi

						nfs
网络文件系统
1.功能：实现共享目录，共享存储
2.软件 rpcbind     端口;111
 			nfs-utils   端口：2049
3.原理：nfs服务器向rpc注册端口，对外提供服务
 4.配置文件/etc/exports
 共享目录、可挂载客户机、权限
 权限有:rw读写  ro只读  no_root_squash仅root用户  sync同时刷入内存和磁盘    async先内存再磁盘
 权限分离:文件安全权限、共享权限、挂载权限
 展示共享出的目录：showmount   -e    ip
 							ceph
 1.简介
 ceph软件定义存储的一种解决方案，而且是一个开源的项目
 ceph是一个分布式对象存储方式，可扩展，性能高，不存在单点故障
 2.ceph的优势
   1.能满足多样的存储需求
   块存储、文件系统存储、对象存储
   2.可扩展的
   TB、PB、EB
   3.开源免费的
   没有厂家锁定
   4.运维管理
   没有单点故障，采用数据保护机制
   5.高性能
   线性存储，节点增加，性能线性增长
  3.存储方式的介绍
  块存储：提供硬盘给客户，客户根据自己需求自己制作文件系统使用，性能好，但是共享性差
  文件系统存储：直接在网络上提供给一个文件系统，客户端直接挂载使用，共享性好，但是性能差
  对象存储：将元数据和实际数据节点进行剥离，并且数据存储是分布式存储，共享好，性能好
  4.ceph架构图
  ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190427132023977.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDM1MzI4OQ==,size_16,color_FFFFFF,t_70)
  radosgw：对象存储
  rbd:块存储
  ceph  fs：文件系统存储
  rados：提供接口，维护集群状态，实现数据分发
5.ceph的关键组件
 1.osd:对象存储的设备，一个物理节点对应一个osd进程，一个进程对应一块硬盘
 2.mon：监视器，监视整个集群中节点的健康状态，维护map图，通过内部算法确定客户端要访问的osd
 3.mds：元数据服务器
6.ceph工作的原理

1.file切块，2m或者4m大小进行切块，生成object，一个object对应一个oid，变成一个rados能识别的对象
2.object映射成pg,通过hash算法，算出对应的pgid
3.pg映射成osd，将pgid带入crush算法，返回用户存储的实际osd节点，每一一个对象映射3个osd
6.对于一个大型系统来说，完善的监控很重要，我们不可能时刻靠人工来发现系统的问题。针对Ceph系统，我们调研了很多种方案，最后选择了适合我们的，方便我们扩展的一种。即：Diamond + Graphite + Grafana
1). Diamond是一个客户端性能收集工具，Python编写，易与扩展。
2). Graphite是一个Python编写的企业级开源监控工具，采用django框架。
3). Grafana是功能齐全的度量仪表盘和图形编辑器
7.集群维护的原理
mon共同负责整个集群中多有osd节点状态，并记录与发现，共同形成cluster map图，扩散到osd节点和客户端，osd通过map图进行数据的维护，client通过map图进行寻址
osd状态信息上报：1.当新的osd加入集群 2.当发现自身或者其他osd故障
处理：mon收到信息更新map图，并扩散
8.安装软件
服务器 ceph ceph-deploy ceph-redosgw
客户端 ceph
iscsi
1.iscsi
一种存储技术，可以实现在tcp/ip协议上面实现scsi协议，也就是说可以通过ip网络传输scsi指令
2.scsi
小型计算机系统的接口，服务器和scsi设备数据传输使用的协议
3.安装的软件
服务器端：targetctl
客户端：iscsi-initiator-utils
4.原理
iscsi设备上有iqn，客户端有目标器通过目标器，找到iqn。