Cephfs

cephfs的mds元数据的冷热备

这是mds新手入门篇，主要内容讲述mds冷备，热备区别和重放的关系。我们只讨论单activemds的情况一，mds的冷备1，我们用ceph-deploymdscreate{host-name}创建一个mds,这时候会有一个active的mds作为文件系统的元数据缓存来为文件系统提供服务，mds缓存了dentry，并且以lru算法的缓存淘汰方式把dentry缓存在了内存中。我们可以设置mds的日志l
zahurqf·2020-06-30 12:48

重建mds避免Cephfs被完全毁掉

前提一套系统的最低要求是可恢复，也就是数据不丢失，但是在各种各样的原因下，整套系统都有被毁掉的可能，一直以来有个观点就是存储是需要两套的，一般情况下很难实现，但是如何把故障发生的概率降低到最低，这个是我们需要考虑的问题最近在社区群里面又听闻一个案例，一套系统的文件系统被重置掉了，也就是fs被重建了，实际上这属于一个不应该有的操作，但是已经发生的事情，就看怎么样能在下次避免或者把损失降到最低，对于h
zahurqf·2020-06-30 12:48

k8s的PV/PVC

Volume可以支持local、nfs、cephfs、glusterfs以及各种云计算平台。
深度学习dlai·2020-06-30 11:26

Cephfs & Ceph RBD 在k8s中的适用场景讨论及数据库性能压测

前言在此前的文章中,已经针对cephfs进行过I/O性能压力测试:cephfs调优&性能测试&监控&常用命令在上一篇文章中,完成了k8s对接cephrbd的测试:k8s(十二)、分布式存储CephRBD
ywq935·2020-06-30 11:28

k8s(十二)、分布式存储Ceph RBD使用

前言上篇文章介绍了k8s使用pv/pvc的方式使用cephfs,k8s(十一)、分布式存储Cephfs使用Ceph存储有三种存储接口,分别是:对象存储CephObjectGateway块设备RBD文件系统
ywq935·2020-06-30 11:28

cephfs调优 & 性能测试 & 监控 & 常用命令

前言k8s对cephrbd模式不支持ReadWriteMany（RWX）,为了满足k8s的灵活性需求,采用支持多点挂载的cephfs工作模式.网上少有针对cephfs调优的文章,因此在本篇,将针对cephfs
ywq935·2020-06-30 11:28

kubernetes挂载cephfs带来的mds卡顿问题及引入cephfs storageClass

kubernetes挂载cephfs带来的mds卡顿问题及引入cephfsstorageClass前言前面的文章中，有写过如何在kubernets中组合pv/pvc，使用cephfs进行数据的持久化存储
ywq935·2020-06-30 11:56

架构设计：系统存储（30）——分布式文件系统Ceph（RADOS结构）

顶层架构总览此图来源于官网，很多网络上的资料也引用了这张图，但是并没有讲清楚出现在图中的和没有出现在图中的（但同样重要的）几个名词到底是什么含义，例如，RADOS、LIBRADOS、RADOSGW、RDB、CEPHFS
说好不能打脸·2020-06-30 08:00

Kubernetes+Ceph时cephfs和ceph-rbd的PV管理

Kubernetes+Ceph时cephfs和ceph-rbd的PV管理文章目录Kubernetes+Ceph时cephfs和ceph-rbd的PV管理1.目的2.相关原理2.1PV的状态切换与PVC的关系
ygqygq2·2020-06-30 07:12

Kubernetes使用Ceph动态卷部署应用

Kubernetes使用Ceph动态卷部署应用Kubernetes使用Ceph动态卷部署应用1.环境准备2.CephFS方式创建pvc2.1编译并上传dockerimage2.2创建Cephadminsecret2.2
ygqygq2·2020-06-30 07:39

CEPH的学习笔记(五) ceph的三大存储挂载和使用---文件存储的挂载

创建挂载目录，如yk-cephfs：mkdir/yk-cephfs挂载cephfs到该目录，并指明用户名和密钥,其中密钥在容器内/etc/ceph/ceph.client.admin.k
杨康小学僧·2020-06-30 05:18

CEPH快速搭建六(cephfs文件存储管理)

如果需要cephfs使用文件存储，需要两个pool池，一个存数据一个存元数据切这连个pool的名称不能改为其他这里我新建两个pool[ceph@ceph-admin~]$cephosdpoolcreatecephfs_data64pool'cephfs_data'created
xx496146653·2020-06-30 04:38

Ceph API微服务开发--cephfs文件系统服务

目标：使用libcephfs库，实现对cephfs文件系统的挂载、目录、文件上传与下载等操作环境：CentOS7/IntelliJIDEA(因为libcephfs仅支持linux，所以在centos7中安装
xingyuzhe·2020-06-30 02:16

Ceph简单介绍

1.为什么要用CephCeph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph
来自万古的忧伤·2020-06-29 15:13

CephFS源码分析

13.深入研究13.1MDS启动阶段分析//src/ceph_mds.ccintmain(intargc,constchar**argv){ceph_pthread_setname(pthread_self(),"ceph-mds");vectorargs;argv_to_vec(argc,argv,args);env_to_vec(args);//初始化全局信息autocct=global_in
Lucien168·2020-06-29 13:49

ceph分布式存储-MDS介绍

保存了文件系统的元数据(对象里保存了子目录和子文件的名称和inode编号)还保存cephfs日志journal，日志是用来恢复mds里的元数据缓存重启mds的时候会通过replay的方式从osd上加载之前缓存的元数据
Lucien168·2020-06-29 13:18

CephFS 异常测试

1.Cephfs异常测试方案CephFS允许客户端缓存metadata30s，所以这里测试对MDSstop/start的时间间隔取为：2s，10s，60s。
Lucien168·2020-06-29 13:18

CephFS MDS内部锁介绍

转载：https://www.jianshu.com/p/dc16309519d1锁的作用MDS中的锁是为了保护log的正常写入。每次对目录树进行操作前，需要先将目标path中涉及的节点加锁，在内存中修改完目录树（修改方式类似于RCU，即生成一个新节点，push_back到队列中）后，将新的目录树信息（只是此条path，不是整个目录树）记录到MDS的journal对象中，journal对象落盘后再
Lucien168·2020-06-29 13:18

Ceph df分析

cephdfGLOBAL:SIZEAVAILRAWUSED%RAWUSED61284G26383G34901G56.95POOLS:NAMEIDUSED%USEDMAXAVAILOBJECTSrbd0256k06931G4cephfs_metadata143928k06931G1043729cephfs_data211603G62.606931G7083637
Lucien168·2020-06-29 13:17

分布式存储Cephfs读取优化方案

用户需要从cephfs存储系统中检索一个大文件指定关键字的一行信息，并且对延迟和性能要求比较高。
Lucien168·2020-06-29 13:17

ceph配置解析

ceph配置Ceph的结构，对象存储由LIBRADOS和RADOSGW提供，块存储由RBD提供，文件系统由CEPHFS提供，而RADOSGW,RBD,CEPHFS均需要调用LIBRADOS的接口，而最终都是以对象的形式存储于
神奇的哈士奇·2020-06-29 10:24

腾讯2020广告算法大赛比赛-使用官方推荐平台进行数据的读取和合并

tarfile#训练数据filename=wget.download("https://tesla-ap-shanghai-1256322946.cos.ap-shanghai.myqcloud.com/cephfs
~迷弟·2020-06-29 07:19

k8s使用cephfs动态存储

参考https://github.com/kubernetes-incubator/external-storage/tree/master/ceph/cephfs#官方没有cephfs动态卷支持#使用社区提供的
weixin_42715413·2020-06-29 06:07

cephfs几种挂载方式

一、启用cephfsCeph文件系统至少需要两个RADOS池，一个用于数据，一个用于元数据启用mds服务#ceph-deploymdscreatenode01创建数据poolcephosdpoolcreatecephfs_data128创建Metadata池cephosdpoolcreatecephfs_metadata128启用poolcephfsnewcephfscephfs_metadata
北国雪飘·2020-06-29 05:00

CephFS 使用

这时CephFS作为文件系统存储解决方案就派上用场了。
weixin_34418883·2020-06-28 19:19

kubernetes挂载ceph rbd和cephfs的方法

目录k8s挂载CephRBDPV&PVC方式创建secret创建PV创建PVC创建deployment挂载PVCStorageClass方式创建secret创建StorageClass创建PVCk8s挂载Cephfsk8s挂载CephRBDk8s挂载CephRBD有两种方式，一种是传统的PV&PVC的方式，也就是说需要管理员先预先创建好相关PV和PVC，然后对应的deployment或者repli
weixin_34416754·2020-06-28 19:30

操作cephfs的基本命令

[前提是已有一个基本可用的ceph集群]一，在指定节点上部署mds：ceph-deploymdscreateceph-node1二，新建两个存储池，用于保存cephfs的数据和元数据。
weixin_34396902·2020-06-28 18:17

K8s存储卷、pv和pvc的使用

emptyDIR临时目录hostPath:使用主机的路径网络存储：传统的设备存储：NAS,SAN分布式存储：glusterfs，rbd，cephfs云存储：EBS,Azure，阿里云的一、emptyDir
weixin_34391854·2020-06-28 18:18

K8S使用Ceph做持久化存储

一、概述Cephfs是一个基于ceph集群且兼容POSIX标准的文件系统。
weixin_34318326·2020-06-28 16:29

Ceph（v13.2.5 mimic稳定版）分布式存储部署

一、ceph简介1.功能特性ceph提供了对象存储（RADOSGW）、块存储（RBD）和文件存储（CephFS）三种功能：RADOSGW：基于LIBRADOS之上，提供当前流行的RESTful协议的网关
weixin_34315189·2020-06-28 16:41

JAVA 操作CephFS的例子

2019独角兽企业重金招聘Python工程师标准>>>添加MAVEN依赖com.cephlibcephfs0.80.5例子代码importcom.ceph.fs.CephMount;importjava.io.IOException;publicclassCephFSTest{publicstaticvoidmain(String[]args){//admin是ceph的admin用户CephMo
weixin_34273046·2020-06-28 15:10

镜像仓库Harbor私服高可用策略分析及部署

```#一．分析指定Harbor高可用策略主流的策略有那么几种:1.harbor做双主复制2.harbor集群挂载分布式cephfs存储3.在k8s集群上部署harbor第二种和第三种都是多个节点，然后挂载的分布式存储
weixin_34126215·2020-06-28 11:57

ceph的mds与cephx

CephFS（CephFileSystem）中引入了MDS（MetadataServer），主要是为兼容POSIX文件系统提供元数据，一般都是当做文件系统来挂载。
weixin_34041003·2020-06-28 10:16

kubernetes 使用ceph实现动态持久卷存储

k8s使用ceph存储ceph提供底层存储功能，cephfs方式支持k8s的pv的3种访问模式ReadWriteOnce，ReadOnlyMany，ReadWriteMany，RBD支持ReadWriteOnce
别来无恙-·2020-06-28 10:00

ceph 分布式文件系统

Ceph介绍Ceph是一个能提供文件存储（cephfs）、块存储（rbd）和对象存储（rgw）的分布式存储系统，具有高扩展性、高性能、高可靠性等优点。
别来无恙-·2020-06-28 09:00

Ceph v12.2 Luminous 文件存储(CephFS)搭建

在已有Ceph集群(Monitor和OSD)的前提下，安装Mds并挂载文件系统客户端。1.创建元数据服务器（1）元服务器需要单独一台机器，配置mds_server主机名、配置apt下载源、配置SSH、创建ceph用户。（2）安装ceph(admin节点)exportCEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous/ex
weixin_34019144·2020-06-28 09:11

cephfs文件系统环境搭建介绍

2019独角兽企业重金招聘Python工程师标准>>>cephfs文件系统环境搭建介绍一、cephfs简介。cephfs是一个基于ceph集群且兼容POSIX标准的文件系统。
weixin_33720956·2020-06-28 03:10

k8s使用ceph实现动态持久化存储

ceph提供底层存储功能，cephfs方式支持k8s的pv的3种访问模式ReadWriteOnce，ReadOnlyMany，ReadWriteMany，RBD支持ReadWriteOnce，ReadOnlyMany
weixin_33701251·2020-06-28 03:47

Ceph FS 挂载

Cephfs使用挂载方式有两种1.使用linuxkernel挂载mount2.使用ceph-fuse挂载。
weixin_30790841·2020-06-28 00:15

Ceph RBD CephFS 存储

CephRBDCephFS存储环境准备：(这里只做基础测试,ceph-manager,ceph-mon,ceph-osd一共三台)10.6.0.140=ceph-manager10.6.0.187=ceph-mon-110.6.0.188=ceph-osd-110.6.0.94=node-94注：ceph对时间要求很严格，一定要同步所有的服务器时间一、在manager上面修改/etc/hosts:
林尧彬·2020-06-27 19:57

ceph-cephfs基本概念

这里写自定义目录标题CEPHFSCEPHFSCEPHFS简介：1、cephfilesystem2、2016年4月21日J版本cephfs提及的第一个稳定版本3、由于云计算大潮的突起，比cephfs完的cephrbd
回龙观的春天·2020-06-27 10:27

CephFS环境搭建（二）

前言《CephFS环境搭建（一）》介绍了如何简单搭建一个单Mon，MDS的Cephfs并导出使用，这里深入一步建立三个池，SSD和SATA分开存放在不同的池，建立多Mon，多MDS，结合纠删码，cache
uj_mosquito·2020-06-27 10:08

harbor 高可用部署

harbor高可用部署数据库使用外接的mysqlredis解决session问题1.cephfs部署1.1机器列表10.0.0.1harbor-ceph-node110.0.0.2harbor-ceph-node210.0.0.3harbor-ceph-node310.0.0.4harbor-ceph-node410.0.0.5harbor-ceph-node51.2
潇伦·2020-06-27 04:18

cephfs kernel client写的过程

kernel中ceph的客户端的源码在fs/ceph中，这里我们以ceph的写操作为例。从fs/ceph/file.c中的ceph_file_fops中可以知道写函数是ceph_write_iterconststructfile_operationsceph_file_fops={.open=ceph_open,.release=ceph_release,.llseek=ceph_llseek,.
tiantao2012·2020-06-26 19:26

k8s使用ceph实现动态持久化存储

ceph提供底层存储功能，cephfs方式支持k8s的pv的3种访问模式Rea
sun007700·2020-06-26 15:56

linux中的errno，你是否踩过它的坑？

背景是我在做一个项目时，其中有一部分是在QEMU中调用cephfs的接口，期间有个函数ceph_lstat()，明明返回了错误的值，但QEMU缺认为这个调用没用问题，当时我没有觉得这个函数本身有问题，所以一直在
瞧见风·2020-06-26 07:57

【开源要闻】Canonical发布新OpenStack工具、Kubernetes访客引导方法

Canonical发布支持CephFS的OpenStackCharms20.02Canonical近日宣布了OpenStackCharms20.02的全面上市，这是用于在Ubuntu上设计，构建和管理OpenStack
dotNET跨平台·2020-06-26 06:04

kubernetes 使用ceph

下载externalstorage项目gitclonehttps://github.com/kubernetes-incubator/external-storage.gitkubernetes使用cephfs
songjxin·2020-06-26 06:27

kubeadm k8s配置 cephfs 动态pv 类型storageClass

mds节点#cephmdsstate2:0/0/1up#ceph-deploymdscreate$nodes#cephmdsstate4:1/1/1up{0=node03=up:active}3、创建cephfs
A天马行空·2020-06-25 22:53

CEPHFS 文件系统创建和挂载

步骤一：元数据服务器增加/删除MDSceph-deploymdscreate{host-name}[:{daemon-name}][{host-name}[:{daemon-name}]...]实例：ceph-deploymdscreatek8s-master01:mdsceph-mds是Ceph分布式文件系统的元数据服务器守护进程。一或多个ceph-mds例程协作着管理文件系统的命名空间、协调到
一束阳光penn·2020-06-25 06:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他