MFS 安装学习

 (1)关于MOoseFS

到目前为止,有数十种以上的分布式文件系统解决方案可选择,如Lustre、Hadoop、
PNFS等,现在我们来介绍下MFS这种分布式文件系统来作为我们的共享存储服务器。
为什么选择他,我们来看看一些看法:
. 实施起来简单
. 不停服务扩容。(MFS框架做好后,随时可以增加服务器的扩充容量和减少
 服务器的容量不影响现有的服务
. 恢复服务容易
(2)MFS文件系统的组成
MFS分布系统由元数据服务器、元数据日志服务器(也称备份服务器)、数据存储服务器
客户端(用户主机)等几部分组成
. 元数据服务器。在整个体系中负责管理文件系统,目前MFS只支持一个元数据服务器
 Master,这是一个单点故障,需要一个性能稳定的服务器来充当,希望今后MFS能支持
 多个Master服务器,进一步提高系统的可靠性
 
. 元数据日志服务器(Metalogger).备份Master服务器的变化日志文件,文件类型为
changelog_ml.*.mfs,当元数据服务器数据丢失或者损毁,可从日志服务器取得文件
进行恢复
 
. 数据存储服务器Chunk Server,真正存储用户数据的服务器,存储文件时,首先把
 文件分成块,然后这些快在数据服务器Chunk Server之间复制(复制份数科院手工
 指定,建议设置副本数为3)。数据服务器可以是多个,并且数量越多,可以使用的
 磁盘空间越大,可靠性越高
 
. 客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端,成功挂接MFS文件
 系统以后,就可以像以前用NFS一样共享这个虚拟性的存储了
(3)MFS读写处理过程
* MFS读取数据步骤:
1. 客户端向元数据服务器发出请求
2. 元数据服务器把所需数据存放的位置(Chunk Server 的IP地址及Chunk编号)告知客户端
3. 客户端向已知Chunk Server请求发送数据
4. 客户端取得所需数据
数据传输并不通过元数据服务器,这既减轻了元数据服务器的压力,同时也大大增加了
整个系统的吞吐能力,在多个客户端读取数据时,读取点(Chunk Server)有可能被分散到不同
的服务器
* MFS写入数据步骤:
1. 客户端向元数据服务器发送写入请求
2. 元数据服务器与Chunk Server进行交互如下:
(1)元数据服务器指示在某些Chunk Server创建分块Chunks
(2)Chunk Server告知元数据服务器,步骤(1)的操作成功
3. 元数据服务器告知客户端,你可以在哪个Chunk Server的哪个Chunks写入数据
4. 向指定的Chunk Server写入数据
5. 与其他Chunk Server进行数据同步,同步的服务器依据设定的副本数而定,副本
 为2,则需同步一个ChunkServer
6. Chunk Sever之间同步成功
7. Chunk Server告知客户端数据写入成功
8. 客户端告知元数据服务器本次写入完毕
* MFS的删除文件过程
1. 客户端有删除操作时,首先向Master发送删除信息;
2. Master定位到相应元数据信息进行删除,并将chunk server上块的删除操作加入队列异步清理;
3. 响应客户端删除成功的信号
* MFS修改文件内容的过程
1. 客户端有修改文件内容时,首先向Master发送操作信息;
2. Master申请新的块给.swp文件,
3. 客户端关闭文件后,会向Master发送关闭信息;
4. Master会检测内容是否有更新,若有,则申请新的块存放更改后的文件,删除原有块和.swp文件块;
5. 若无,则直接删除.swp文件块。
* MFS重命名文件的过程
1. 客户端重命名文件时,会向Master发送操作信息;
2. Master直接修改元数据信息中的文件名;返回重命名完成信息;
* MFS遍历文件的过程
1. 遍历文件不需要访问chunk server,当有客户端遍历请求时,向Master发送操作信息;
2. Master返回相应元数据信息;
3. 客户端接收到信息后显示
注:
 1、Master记录着管理信息,比如:文件路径|大小|存储的位置(ip,port,chunkid)|份数|时间等,元数据信息
 存在于内存中,会定期写入metadata.mfs.back文件中,定期同步到metalogger,操作实时写入changelog.*.mfs,
 实时同步到metalogger中。master启动将metadata.mfs载入内存,重命名为metadata.mfs.back文件。
 
 2、文件以chunk大小存储,每chunk最大为64M,小于64M的,该chunk的大小即为该文件大小(验证实际chunk文件略
 大于实际文件),超过64M的文件将被切分,以每一份(chunk)的大小不超过64M为原则;块的生成遵循规则:目录
 循环写入(00-FF 256个目录循环,step为2)、chunk文件递增生成、大文件切分目录连续。
 
 3、Chunkserver上的剩余存储空间要大于1GB(Reference Guide有提到),新的数据才会被允许写入,否则,你会看
 到No space left on device的提示,实际中,测试发现当磁盘使用率达到95%左右的时候,就已经不行写入了,当时
 可用空间为1.9GB。
 
 4、文件可以有多份copy,当goal为1时,文件会被随机存到一台chunkserver上,当goal的数大于1时,copy会由master
 调度保存到不同的chunkserver上,goal的大小不要超过chunkserver的数量,否则多出的copy,不会有chunkserver去存。
 
三、MFS的安装、部署、配置
 
测试环境:
IP     作用          
192.168.0.1 master server

192.168.0.2 metalogger server

192.168.0.3 chunk server
 
192.168.0.4 chunk server

192.168.0.5 mfs client
3.1  Master Server
 
在192.168.0.1进行如下操作:
 
  
  
  
  
  1. 3.1.1 安装: 
  2.     # useradd mfs -s /sbin/nologin 
  3.     # wget http://www.moosefs.org/tl_files/mfscode/mfs-1.6.20-2.tar.gz
  4. # tar zxvf mfs-1.6.20-2.tar.gz 
  5.     # cd mfs-1.6.20-2/ 
  6.     # ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs 
  7. --disable-mfschunkserver --disable-mfsmount 
  8.     # make 
  9.     # make install 
  10.     # cd /usr/local/mfs/etc 
  11.     # cp mfsmaster.cfg.dist mfsmaster.cfg  #主配置文件 
  12.     # cp mfsexports.cfg.dist mfsexports.cfg #被挂接目录及权限配置 
  13.  
  14. 3.1.2 配置:    
  15.     #   vi /usr/local/mfs/etc/mfsmaster.cfg 
  16.     # WORKING_ USER = mfs      #运行master server 的用户 
  17.     # WORKING_ GROUP = mfs     #运行master server 的组 
  18.     # SYSLOG_IDENT = mfsmaster #master server 在syslog 中的标识,说明是由master serve 产生的 
  19.     # LOCK_MEMORY = 0          #是否执行mlockall()以避免mfsmaster 进程溢出(默认为0) 
  20.     # NICE_LEVEL = -19         #运行的优先级(如果可以默认是-19; 注意: 进程必须是用root 启动) 
  21.     # EXPORTS_FILENAME = /usr/local/mfs/etc/mfsexports.cfg #被挂接目录及其权限控制文件的存放位置 
  22.     # DATA_PATH = /usr/local/mfs/var/mfs    #数据存放路径,此目录下大致有三类文件,changelog,sessions 和stats; 
  23.     # BACK_LOGS = 50                        #metadata 的改变log 文件数目(默认是50); 
  24.     # REPLICATIONS_ DELAY_INIT = 300        #延迟复制的时间(默认是300s); 
  25.     # REPLICATIONS_ DELAY_DISCONNECT = 3600 #chunkserver 断开的复制延迟(默认是3600); 
  26.     # MATOML_LISTEN_HOST = *     #metalogger 监听的IP 地址(默认是*,代表任何IP); 
  27.     # MATOML_LISTEN_PORT = 9419 #metalogger 监听的端口地址(默认是9419); 
  28.     # MATOCS_LISTEN_ HOST = *   #用于chunkserver 连接的IP 地址(默认是*,代表任何IP); 
  29.     # MATOCS_LISTEN_PORT = 9420 #用于chunkserver 连接的端口地址(默认是9420); 
  30.     # MATOCU_LISTEN_HOST = *    #用于客户端挂接连接的IP 地址(默认是*,代表任何IP); 
  31.     # MATOCU_LISTEN_PORT = 9421 #用于客户端挂接连接的端口地址(默认是9421); 
  32.     # CHUNKS_LOOP_TIME = 300    #chunks 的回环频率(默认是:300 秒);# CHUNKS_DEL_LIMIT = 100 
  33.     # CHUNKS_WRITE_REP_LIMIT = 1 #在一个循环里复制到一个chunkserver 的最大chunk 数目(默认是1) 
  34.     # CHUNKS_READ_REP_LIMIT = 5  #在一个循环里从一个chunkserver 复制的最大chunk 数目(默认是5) 
  35.     # REJECT_OLD_ CLIENTS = 0    #弹出低于1.6.0 的客户端挂接(0 或1,默认是0) 
  36.      
  37. 注意: 
  38.  1、凡是用#注释掉的变量均使用其默认值 
  39.  2、修改DATA_PATH指定的目录要权限为mfs,chown -R mfs:mfs /usr/local/mfs/var/mfs 
  40.  3、mfsexports 访问控制对于那些老客户是没用的 
  41.  4、注意开通监听的端口 
  42.   
  43.     # vi /usr/local/mfs/etc/mfsexports.cfg    #客户端IP        允许挂载的目录  客户端拥有的权限 
  44.     192.168.0.0/24     /            rw,alldirs,maproot=0  # /标识MFS的根 
  45.     192.168.0.0/24     .            rw                    # .标识MFSMETA 文件系统  
  46.      
  47.     地址可以指定的格式: 
  48.      
  49.     IP格式            说明         
  50.         *               所有的ip 地址 
  51.     n.n.n.n             单个ip 地址 
  52.     n.n.n.n/b           IP 网络地址/位数掩码   
  53.     n.n.n.n/m.m.m.m     IP 网络地址/子网掩码 
  54.     f.f.f.f-t.t.t.t     IP 段 
  55.  
  56.     权限说明: 
  57.     权限          说明         
  58.     ro          只读模式 
  59.     rw          读写模式 
  60.     alldirs     许挂载任何指定的子目录   
  61.     maproot     映射为root,还是指定的用户   
  62.     password    指定客户端密码 
  63.      
  64. 3.1.3  操作: 
  65.   
  66. # /usr/local/mfs/sbin/mfsmaster [-vdu] [-t locktimeout] [-c cfgfile] 
  67. [start|stop|restart|reload] 
  68.  #master服务操作#/usr/local/mfs/sbin/mfscgiserv  #启动WEBUI 监控服务,
  69. 访问http://192.168.0.1:9425/    
  70.   
  71. 注意:  
  72.     最好不要kill master,安全停止执行mfsmaster stop,否则下次启动因metadata.mfs.back而出现问题,
  73. 还需 
  74.     要使用备份来恢复。 
  75.   
  76. 文件说明: 
  77.   
  78. #ls -l /usr/local/mfs/var/mfs  #此目录见mfsmaster.cfg中DATA_PATH配置 
  79.       metadata.mfs.back  #MFS元数据信息,延迟将内存数据写入文件,默认频率1h,默认1d同步一次此文件
  80. 到metalogger server 
  81.       changelog.*.mfs      #文件操作日志记录,实时记录、同步到metalogger server 
  82.       sessions.mfs  #客户操作状态记录 
  83.       stats.mfs        #?  

3.1.4 备注: 1、用户操作日志见:changelog.*.mfs 2、进程产生的日志放到系统日志中:/var/log/messages 3、Master可以单独启动,注意开通监听的端口

 

   
   
   
   
  1. 3.2  Chunk Server 
  2.   
  3. 在192.168.0.3-在192.168.0.4 进行如下操作 
  4.  3.2.1 安装: 
  5.     #useradd mfs -s /sbin/nologin 
  6.     #wget http://www.moosefs.org/tl_files/mfscode/mfs-1.6.20-2.tar.gz 
  7.     #tar zxvf mfs-1.6.20-2.tar.gz 
  8.     #cd mfs-1.6.20-2/ 
  9.     #./configure --prefix=/usr/local/mfs --with-default-user=mfs 
  10. --with-default-group=mfs --disable-mfsmaster --disable-mfsmount 
  11.     #make 
  12.     #make install 
  13.     #cd /usr/local/mfs/etc 
  14.     #cp mfschunkserver.cfg.dist mfschunkserver.cfg #chunk配置文件#cp mfshdd.cfg.dist mfshdd.cfg  #MFS使用空间配置 
  15.      
  16. 3.2.2 配置: 
  17.   
  18.  
  19.  
  20. $vi /usr/local/mfs/etc/mfschunkserver.cfg 
  21. WORKING_USER = mfs 
  22. WORKING_GROUP = mfs 
  23. DATA_PATH = /usr/local/mfs/var/mfs 
  24. LOCK_FILE = /var/run/mfs/mfschunkserver.pid 
  25. SYSLOG_IDENT = mfschunkserver 
  26. BACK_LOGS = 50 
  27. MASTER_RECONNECTION_DELAY = 30 
  28. MASTER_HOST = 192.168.0.1 #元数据服务器的名称或地址,可以是主机名,也可以是ip 地址 
  29. MASTER_PORT = 9420 #为Matser中 MATOCS_LISTEN_PORT指定的端口 
  30. MASTER_TIMEOUT = 60 
  31. CSSERV_LISTEN_HOST = * 
  32. CSSERV_LISTEN_PORT = 9422 这个监听端口用于与其它数据存储服务器间的连接,通常是数据复制 
  33. CSSERV_TIMEOUT = 60 
  34. CSTOCS_TIMEOUT = 60 
  35. HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.cfg 分配给MFS 使用的磁盘空间配置文件的位置  
  36.  
  37.  
  38. 注意: 
  39.  1、MASTER_HOST 不能为localhost或127.0.0.1,做单机测试的童鞋们注意了,要使用对外IP。 
  40.  2、MASTER_PORT必须为元数据服务器配置中MATOCS_LISTEN_PORT指定的端口,且IP必须被master允许。 
  41.  3、注意开通监控的端口(这里是9422) 
  42.   
  43. $chown -R mfs:mfs /data      #没有这一操作,会出现写权限问题,因进程是用mfs运行的。
  44. $vi /usr/local/mfs/etc/mfshdd.cfg 
  45.     /data  
  46. 注意: 
  47.  1、在这里/data 是一个给mfs 的分区,但在本机上是一个独立的目录,最好是一个单独的硬盘或者一个raid 卷,
  48. 最低要求是一个分区。 
  49.  2、不要忘了更改目录的权限,因为mfschunkserver进程是用mfs运行的。 
  50.   
  51. 3.2.3 操作 
  52.   
  53. /usr/local/mfs/sbin/mfschunkserver [-vdu] [-t locktimeout] [-c cfgfile] [start|stop|restart|reload]  #chunkserver操作命令  
  54.   
  55.   
  56. 3.3 MetaLogger Server 
  57.   
  58. 在192.168.0.2上执行如下操作: 
  59.   
  60. 3.3.1 安装: 
  61.   
  62. 同Master的安装步骤。 
  63.   
  64. 3.3.2 配置: 
  65.   
  66.  
  67.  
  68. $vi /usr/local/mfs/etc/mfsmetalogger.cfg 
  69. WORKING_USER = mfs 
  70. WORKING_GROUP = mfs 
  71. SYSLOG_IDENT = mfsmetalogger 
  72. LOCK_MEMORY = 0 
  73. NICE_LEVEL = -19 
  74. DATA_PATH = /usr/local/mfs/var/mfs 
  75. BACK_LOGS = 50 
  76. META_DOWNLOAD_FREQ = 24 元数据备份文件下载请求频率。默认为24小时,即每隔一天从元数据服务器(MASTER)下载一个metadata.mfs.back 文件。当元数据服务器关闭或者出故障时,matedata.mfs.back 文件将消失,那么要恢复整个mfs,则需从metalogger 服务器取得该文件。请特别注意这个文件,它与日志文件一起,才能够恢复整个被损坏的分布式文件系统。 
  77. MASTER_RECONNECTION_DELAY = 5 
  78. MASTER_HOST = 192.168.0.1 
  79. MASTER_PORT = 9419 
  80. MASTER_TIMEOUT = 60 
  81. # deprecated, to be removed in MooseFS 1.7 
  82. LOCK_FILE = /var/run/mfs/mfsmetalogger.lock  
  83.  
  84.  
  85. 注意: 
  86.  1、MASTER_HOST 不能为localhost或127.0.0.1,做单机测试的童鞋们注意了,要使用对外IP。 
  87.  2、MASTER_PORT必须为元数据服务器配置中MATOCS_LISTEN_PORT指定的端口,且IP必须被master允许。 
  88.   
  89. 3.3.3 操作 
  90.  /usr/local/mfs/sbin/mfsmetalogger [-vdu] [-t locktimeout] [-c cfgfile]
  91.  [start|stop|restart|reload] 
  92.  #chunkserver操作命令  
  93.   
  94.   
  95. 3.4 MFS Client 
  96.  在192.168.0.6上执行如下操作: 
  97.  3.4.1 FUSE安装: 
  98.     $wget http://nchc.dl.sourceforge.net/project/buluoos/0.2/src/fuse-2.8.5.tar.gz 
  99.     $tar zxf fuse-2.8.5.tar.gz 
  100.     $cd fuse-2.8.5 
  101.     $./configure 
  102.     $make && make install 
  103.     $echo 'export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH' >>/etc/profile 
  104.     $source /etc/profile$lsmod |grep fuse #检查fuse是否加载到内核,若没有,执行下面命令$modprobe fuse&&lsmod |grep fuse  #若将下列mfsmount挂载操作加入开机自启动,一定将modprobe fuse也加入开机自启  
  105.  
  106.     注意: 
  107.  1、一定要将fuse环境变量配置ok,否则安装mfsmount会装不上 
  108.  2、若将下列mfsmount挂载操作加入开机自启动,一定将modprobe fuse也加入开机自启,且在其执行之前执行。 
  109.   
  110.  3.4.2 MFSMount安装: 
  111.     $useradd mfs -s /sbin/nologin 
  112.     $wget http://www.moosefs.org/tl_files/mfscode/mfs-1.6.20-2.tar.gz 
  113.     $tar zxvf mfs-1.6.20-2.tar.gz 
  114.     $cd mfs-1.6.20-2/ 
  115.     $./configure --prefix=/usr/local/mfs --with-default-user=mfs 
  116. --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver 
  117.     $make;make install  
  118.  
  119. 3.4.3 挂载MFS 
  120.     $mkdir /mnt/mfs /mnt/mfsmeta  #创建挂载点 
  121.     $/usr/local/mfs/bin/mfsmount /mnt/mfs -H 192.168.0.1 
  122.     $/usr/local/mfs/bin/mfsmount -m /mnt/mfsmeta -H 192.168.0.1 
  123.     $df -h #检查是否挂载成功$umount /mnt/mfs #操作如下出错,说明客户端本机有正在使用此文件系统,
  124. 可以查明是什么命令正在使用,然后推出就可以了,最好不要强制退出。  
  125.  
  126.     到此为止,我们的MFS集群已经搭建完成。 
  127.      
  128.     注:如果在挂载的时候出现  mfsmaster register error: Permission denied 
  129.         我们应该检查下元数据服务器(Master)的/usr/local/mfs/etc/mfsexports的设置是
  130. 否你的Client是添加进去的 
  131.  
 

你可能感兴趣的:(安装,学习,MFS)