yum安装软件报错–skip-broken出现上图的–skip-broken根本不是缓存问题，是有软件包没有卸载完导致[root@glusterfs02gluster_rpm]#rpm-qa|grepgluster

GlusterFSSwiftCassandra路由算法普通哈希算法一致性哈希算法一致性哈希算法数据恢复方式选举算法，选出一个源节点副本之间定时检查md5值副本之间检查校验值数据恢复阶段读的时候恢复(readrepair

我的测试环境配置有4台brick。这次建的卷为dispersed卷（类似raid5）gluster官方建议最佳配置6brick中2台redundancy。我的环境现在只用1redundancy。我先在4台BRICK中都mkdir了相同的目录结构。/export/gfs/vm（这个卷就是给kvm用的，嘿嘿）glustervolumecreatekvm_voldisperse410.32.109.10

官方网站：http://www.gluster.org/下载地址：http://download.gluster.org/pub/gluster/glusterfs/GlusterFS外部架构GlusterFS

GlusterFS集群文件系统基础与实践1、GlusterFS文件系统和架构的介绍1）、GlusterFS文件系统简介及优点GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统

1理论部分1.1锁的作用分布式存储的锁类似于MySQL的行锁和表锁，可防止多个客户端同时编辑对数据造成损坏，故本章解决数据写入冲突问题。1.2语法格式gluster volume set  locks.mandatory-locking off-为指定的卷禁用强制锁file-启用Linux内核风格的强制锁语义和位模式的帮助（没有充分测试）forced-为卷检查字节范围锁定每个数据编辑操作optim

“Glusterfs锁，并没有中央锁服务器的概念。它可以使用一个或多个节点作为锁管理节点，而底层直接使用系统上的锁机制，所以本身并不需要作过多的工作。

1.软件包安装(两台都执行)yuminstallcentos-release-glusteryumcleanallyuminstall-yglusterfsglusterfs-serverglusterfs-fuseglusterfs-rdma2

一、概念DispersedVolume是基于ErasureCodes（纠错码）的一种新类型的Volume（3.6版本正式发布该特性），类似于RAID5/6。通过配置Redundancy（冗余）级别提高可靠性，在保证较高的可靠性同时，可以提升物理存储空间的利用率。文件是被分割成大小相同的Chunk(块)，而每个Chunk又被分割成fragment，而冗余信息的Fragment也随之生成，且同一个Fr

作者：吴业亮博客：http://blog.csdn.net/wylfengyujiancheng一、环境信息node1192.168.8.11两块磁盘node2192.168.8.12两块磁盘二、通用配置（各个节点）1、修改主机名hostnamectlset-hostnamenode12、修改hosts文件#cat/etc/hosts127.0.0.1localhostlocalhost.loca

OptionDefaultValueDescriptionAvailableOptionsauth.allow*(allowall)被允许访问的客户端其他的拒绝192.168.1.*auth.rejectNONE(rejectnone)被拒绝的客户端其他的允许192.168.2.*cluster.min-free-disk10%最小空余硬盘空间百分比cluster.min-free-inodes5

1官方性能测试文档：http://gluster.readthedocs.io/en/latest/Administrator%20Guide/Performance%20Testing/2测试工具2.1fioFIO是测试IOPS的非常好的工具，是一个I/O标准测试和硬件压力验证工具，它支持13种不同类型的I/O引擎（sync,mmap,libaio,posixaio,SGv3,splice,nu

Glusterfs冗余示意图副本技术存在显著缺点是存储开销巨大——为应对部分数据丢失的风险而需要将整个原始文件拷贝存储，为

关于GlusterFS的基础知识，这里不再阐述，毕竟当你搜到这篇文章时，你一定对它有所了解。离线部署GlusterFS的准备工作没错，要的就是离线部署！因为不排除客户环境是局域网。

（TaoCloud团队原创作者：杨阳@TaoCloud）在这个数据爆炸的时代，很多行业不得不面临数据快速增长的挑战，为了应对呈爆炸式增长态势的数据量，构建大规模的存储系统成了一种普遍的应用需求。但数据是如此重要，如何保证存储可靠性、数据可用性成了大规模存储系统的难点和要点。数据冗余是保障存储可靠性、数据可用性的最有效手段，传统的冗余机制主要有副本（Replication）和纠删编码（Erasure

在glusterfs3.6.1下验证成功目标在glusterfs-3.6.1/xlators/debug/下建立一个自己的xlator库并可以统一安装到系统目录下一、解压glusterfs3.6.1.tar.gztarzxvfglusterfs3.6.1

按照之前的理解，glusterfs稳定版包括3.6、3.5，但不包括3.7，最近gluster官网明确标出，gluster3.7为稳定版，显然官方认为3.7版本已经足够稳定，可用于生产环境。

>>>一.前言proxmox是一个开源的虚拟化管理平台,支持集群管理和HA.在存储方面,proxmox除了支持常用的lvm,nfs,iscsi,还支持集群存储glusterfs和ceph,这也是我们选择它的原因

Glusterfs集群一台主机故障处理Gluster采用UUID来标识每个gluster实例，这个信息存储在/var/lib/glusterd/glusterd.info中，因此只要恢复之前的UUID，

1．概述GlusterfsGeo-replication提供了一种持续，异步，增量数据备份策略，可以通过局域网，广域网，英特网来进行。

在诸多分布式文件系统中，GlusterFS以其简约的架构设计，完善的协议支持，无中心节点、全局统一命名

TaoCloud团队原创：微信公众号文章访问GlusterFS作为一个免费开源的分布式文件系统，以其简约的架构设计，完善的协议支持，无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点，拥有着旺盛的生命力

TaoCloud团队原创：微信公众号文章访问GlusterFS作为一个免费开源的分布式文件系统，以其简约的架构设计，完善的协议支持，无中心节点、全局统一命名空间、高可用、高性能、横向扩展等特点，拥有着旺盛的生命力

TaoCloudXDFS基于GlusterFS开源分布式文件系统，进行了系统优化、工程化、定制化和产品化工作，五年以上的实践积累了大量实践经验，包括客户案例、最佳实践、定制开发、咨询服务和技术培训。

基于GlusterFS构建的集群NAS系统是一个复杂的系统工程，其整体性能表现与特定应用特征、硬件和软件配置等息息相关。系统部署时，如果性能与估算或经验值相差较大，则需要根据实际情况进行性能调优。

最近因为工作的需要在接触GlusterFS，在未来的一段时间之内应该都要与之打交道，刚刚接触分布式文件系统，对很多概念和机制都不是很清楚，通过一段时间的学习有一点浅显的认识，那么就把这段时间的了解到的内容做个简单的笔记

1.常用命令针对节点的命令glusterpeerprobe#增加一个节点，参数为主机名或IPglusterpeerdetach#删除指定的节点，后跟主机名或IPglusterpeerstatus#列出切点的状态glusterpeerhelp#关于glusterpeer命令的帮助信息针对卷的命令volumeinfo[all|]#列出所有卷的信息-listinformationofallvolumes

准备：1、两台机器挂载一个硬盘/逻辑卷用于GlusterFS的存储/dev/mapper/vgs_dt01-GlusterFS4.9G155M4.4G4%/data/gluster2、关闭防火墙节点存储挂载主机名

1.启动/关闭/查看glusterd服务#/etc/init.d/glusterdstart#/etc/init.d/glusterdstop#/etc/init.d/glusterdstatus2.开机自动启动glusterd服务#chkconfigglusterdon#RedHat#update-rc.dglusterddefaults#Debian#echo"glusterd">>/etc/

如谷歌的分布式文件系统GFS、分布式表格系统googleBigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs

问题描述：之前已经创建了一个replicated的volumegv0，replica=2，两个目录为：/test/data1和/test/data2，之后发现这两个目录不太合适，想在/test/data1/gfs和/test/data2/gfs上重新做一个volume，于是将gv0删除，但是在新建volume时出现：/test/data1/gfsoraprefixofitisalreadypart

场景1】某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景。

转自http://blog.sina.com.cn/s/blog_6b89db7a0101gbcy.html换个角度深入理解GlusterFSGlusterFS（GNUClusterFileSystem

1、准备工作：四台主机，每台主机各需两块磁盘sda1（系统盘）、sdb（数据盘）主机1：glusterfs01-1710.1.1.17主机2：glusterfs02-1910.1.1.19主机3：glusterfs03

概述glusterfs集群的存储节点损坏是不可避免的，但是对于glusterfs来说，节点损坏包含系统损坏（因为重做系统需要格式化根目录）即glusterfs配glusterfs配置文件丢失，数据盘损坏即对于

一、问题引出业务系统容器化迁移、k8s部署的过程中，我们发现有很多服务都存在需要数据存储的需求。当应系统用采用传统的物理部署方式时，应用可将数据直接存储在本地，读取数据时只需到对应的储存目录下读取即可；但是，当服务采用容器化部署时，由于容器本地存储空间的生命周期与容器绑定，应用存储在容器中的数据会随容器的删除而一同被删除，应用数据也就失去了持久性。所以此类应用在迁移k8s部署时必须借助一种可以实现

1、分布式文件系统种类简介：常见的分布式文件系统有：GlusterFS、GoogleFS、FastDFS、TFS等，各自适用的领域不同，它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。

【场景1】某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景。

一、概述GlusterFS3.6版本发布了基于卷的快照功能，该功能是基于thinlyprovisionedLVMsnapshot，所以必须满足以下条件，才能保证卷快照功能的正常使用。

客户端仲裁只适用于副本卷，服务器仲裁适用于所有卷。副本卷个数最好为奇数个，服务器端个数最好为不小于3的奇数。客户端仲裁客户端仲裁适用于fuse、gfapi、nfs。客户端仲裁功能是在AFR中继器中实现，所以只要该中继器被加载，就能提供客户端仲裁功能。仲裁检测自然由AFR中继器负责。如果检查失败，客户端则无法写入，返回EROFS错误。正在进行写操作会因为板块（brick）数未达到仲裁要求的数量而失败

分布式文件系统--glusterfs老规矩，先上个草图~图解：1）节点node1和node2建立peer关系，节点中各有一个分区vda3；2）分别把vda3做成卷组vg、池pool、精简lv、glusterfs

二、GlusterFS体系结构注：本文及本系列文章均是翻译自GlusterFSdoc官方英文文档，除此之外又根据自己翻阅的其它资源对原文档做了部分补充。

**一、简介**GlusterFS是一个开源免费的分布式文件系统，具有完全去中心化、堆栈式设计、全局统一命名空间、高可用、高性能和横向扩展等特点。

glusterfs发现一个文件的多个副本不一致的时候，就认为该文件处于脑裂状态，当然文件夹也会存在脑裂的（比如多个副本上的目录下的文件数量不一样）。产生的原因网络分区。

iso9660Windows：fat32,ntfsUnix:FFS,UFS,JFS2网络文件系统：NFS,CIFS集群文件系统：GFS2,OCFS2分布式文件系统：ceph,moosefs,mogilefs,GlusterFS

workloads/controllers/daemonset/概念：DaemonSet：用于管理在集群中每个Node上仅运行一份Pod的副本实例如图所示这种适合有多种需求的应用◎在每个Node上都运行一个GlusterFS

用GlusterFS作为Kubernetes的存储这里简单的介绍一下使用基于容器化的GlusterFS+heketi作kubernetes的后端存储的部署方式；对于GlusterFS的介绍这里就不多说了

DaemonSet控制器简单来说DaemonSet控制器就是确保集群中的每个节点都仅运行一个特定pod，而后续的加入的节点也会自动创建其特定podDaemonSet控制运行应用，例如：1、运行集群存储的守护进程，如glusterfs

GlusterFS是一个集群的文件系统，支持PB级的数据量

logrotate.confincluding/etc/logrotate.dreadingconfigfilechronyreadingconfigfilecupsreadingconfigfileglusterfsread