分布式存储CEPH

学一点Ceph知识：初识Ceph

Ceph是什么？Ceph是一个开源的分布式存储系统，可大规模扩展、高性能、无单点故障，在普通的服务器上可以支持到PB级容量，商用机器上支持的容量可以达到EB级别。
清茶豆奶·2023-08-19 15:59

Zookeeper单机集群部署

目录一、伪集群搭建1、搭建准备2、开始搭建3、集群启动二、Zookeeper分布式存储1、Zookeeper存储模型2、zkCli客户端指令清单3、zk客户端1.zk官方java客户端api2.第三方的
天蝎座小小熊·2023-08-19 13:15

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

看一眼常见数据处理的产品

HadoopvsSparkHadoop是一个分布式存储和计算框架，而Spark是一个基于内存的分布式计算框架。Hadoop在存储大数据方面表现出色，而Spark在计算和处理大数据方面表现更快。
Walter Sun·2023-08-19 09:47

分布式存储Ceph技术

分布式存储ceph技术目录分布式存储ceph技术分布式存储什么是分布式存储分布式存储的特性存储的分类（不完善）cephceph简介ceph的优势ceph架构ceph的基本组件ceph结构ceph存储种类和应用场景块存储文件存储对象存储
Mr_Wzzzz·2023-08-19 06:05

计算机专业surface pro,微软Surface Pro 7详细评测：仍旧是最好的二合一平板电脑

今年10月初，当人们还沉浸在国庆放假的喜悦中的时候，大洋彼岸的微软在纽约召开新品发布会，一口气发布了6款Surface设备，除了惊艳的双屏电脑SurfaceNeo以及传说中的“SurfacePhone”
磨磨蹭蹭磨磨唧唧·2023-08-18 22:46

Ceph如何操作底层对象数据

1.基本原理介绍1.1ceph中的对象(object)在Ceph存储中，一切数据最终都会以对象(Object)的形式存储在硬盘（OSD）上，每个的Object默认大小为4M。
singless233·2023-08-18 21:37

【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错？

写在前面在【冰河技术】微信公众号的【分布式存储】专题中，我们分别搭建了单节点FastDFS环境和高可用FastDFS集群环境。但是，之前的环境都是基于CentOS6.8服务器进行搭建的。
冰河团队·2023-08-18 21:25

【转】OSD启动流程

1.集群信息相关初始化在启动OSD之前，首先需要创建相应的ObjectStore对象(src/ceph_osd.cc):ObjectStore*store=ObjectStore::create(g_ceph_context
大隐隐于野·2023-08-18 21:58

CentOS 安装 ceph 单机版（luminous版本）

一、环境准备CentOSLinuxrelease7.4.1708(Core)一台，4块磁盘（sda、sdb,、sdc、sdd）192.168.27.130nceph二、配置环境1、修改主机名#hostnamectlset-hostnamenceph2
计算机毕业设计指北·2023-08-18 16:43

一文解析SSD和Lightning SN 关系

LightningSN即闪电储存网络,是以固态硬盘区块链网络为分布式存储空间，以5G技术为网络带宽技术的区块链存储网络。
gaoguyu8504·2023-08-18 13:30

【测试】 FIO：ceph/磁盘IO测试工具 fio（iodepth深度）

目录随看随用NAS文件系统测试块系统测试FIO用法FIO介绍FIO工具常用参数：FIO结果说明I/O的重放（'录'下实际工况的IO，用fio'重放'）fio工作参数可以写入配置文件fio的iodepth参数说明IO状态监控：Iostat介绍其他相关工具和内容与FIO相似的工具fio测试脚本提取iops和bwgunplot画图IO优化思路和IO栈图Fio输出内容的解释相关命令附录作者：bandaoy
bandaoyu·2023-08-18 12:50

给 ES 插上向量检索的翅膀 | DataFunSummit 2023 峰会演讲内容速达

近日，由DataFun主办的DataFunSummit2023数据基础架构峰会圆满落下帷幕，本次峰会邀请了腾讯、百度、字节、极限科技、Zilliz等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理
·2023-08-18 09:04

2019-11-29

c.可拓展支持一主多从且扩容简易开源软件d.在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉了，也能自动进行数据恢复和主从切换。e.采用RestfulAP
9333d8baadce·2023-08-18 06:38

非常详细的 Ceph 介绍、原理、架构

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
大隐隐于野·2023-08-18 06:18

【Kafka】测试集群中Broker故障对客户端的影响

集群信息：4个broker、topic：100+(每个topic30个partition)、集群加密方式：plaintext、存储：ceph；Producer：单线程，每秒50条左右；Consumer：
喝不完一杯咖啡·2023-08-18 05:58

8月12日上课内容 综合配置详解 四层+七层代理

*分布式存储:ELK日志分析。kafka消息队列监控zabbixdocker:容器化部罢服务微服务。
m0_70766460·2023-08-17 22:42

构建易于运维的 AI 训练平台：存储选型与最佳实践

我们尝试过文件系统包括有NFS、GlusterFS、Lustre和CephFS，最终选择了JuiceFS。在这个案例中，我们将为大家介绍工业A
Juicedata·2023-08-17 22:19

IPSE星际搜索引擎

的搜索引擎https://ipse.io已关注IPSE黄皮书：下一代价值互联网的流量入口载入中15分钟作者：Silver，区块链开发工程师，Spark架构师，IPSE首席架构师背景时间到了2019年，分布式存储逐渐进入了落地阶段
慎独戒欺·2023-08-17 20:39

ceph数据分布

ceph的存储是无主结构，数据分布依赖client来计算，有两个条主要路径。
zhangzhaokun·2023-08-17 19:01

Crimson：高性能，高扩展的新一代 Ceph OSD

在最初设计Ceph的时候，通常情况下，Ceph都是被部署到机械硬盘上，能够提供数百IOPS的读写和数十G的磁盘容量。但是，目前最新的NVMe设备可以提供数百万的IOPS读写，并支持TB级的磁盘容量。
大隐隐于野·2023-08-17 19:31

10 | 发号器：如何保证分库分表后ID的全局唯一性？

在前面两节课程中，我带你了解了分布式存储两个核心问题：数据冗余和数据分片，以及在传统关系型数据库中是如何解决的。
逗逼程序员·2023-08-17 10:44

360容器分享

不需要引入其他开源项目网络flannelvlan简单无物理依赖打算calicol存储glusterfs对等cephfs镜像管理harbor日志的filebeatkafka监控时序数据库集群自洽上层平台解决差异化的不同租户命名空间核心组件异地多活
五大RobertWu伍洋·2023-08-17 02:58

apache doris和StarRocks的区别

StarRocks是一个分布式存储系统，它建立在ApacheHadoop之上，旨在为大型超级计算机提供结构化数据存储解决方案。StarRocks采用了列式存
6个日的梦想·2023-08-16 23:01

滴滴Ceph分布式存储系统优化之锁优化

摘自：https://mp.weixin.qq.com/s/oWujGOLLGItu1Bv5AuO0-A2020-09-0221:450.引言Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响
YoungerChina·2023-08-16 22:09

算法与数据结构-哈希算法

文章目录什么是哈希算法哈希算法的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储一致性哈希算法什么是哈希算法哈希算法的定义和原理非常简单，基本上一句话就可以概括了。
码农界的菜鸟·2023-08-16 19:05

九州云入选2022金融云TOP30

作为国内最早一批推动OpenStack在金融云架构上创新的企业，九州云先后助力搭建国内第一个基于OpenStack和分布式存储Ceph技术的金融大数据服务平台、针对互联网金融（IOF）行业的可信金融私有云
OpenInfra·2023-08-16 17:29

Ceph入门到精通-Aws Iam(user,role,group,policy,resource)架构图和快速入门

--AwsIam(identity,user,role,group,policy,resource,)架构图和快速入门.【官网】：CloudComputingServices-AmazonWebServices(AWS)应用场景aws云服务运维,devops过程中经常涉及各项服务，权限，角色的处理。为了更好的使用各项云服务同时确保安全性，需要深入了解awsiam相关内容。基础资源aws使用须知需要
瓦哥架构实战·2023-08-16 13:01

Ceph入门到精通-ceph 源码编译

Ceph-ascalabledistributedstoragesystemPleaseseehttps://ceph.com/forcurrentinfo.ContributingCodeMostofCephisduallicensedundertheLGPLversion2.1or3.0
瓦哥架构实战·2023-08-16 13:31

Ceph入门到精通-Linux下Ceph源码编译和GDB调试

Ceph版本：14.2.22Linux版本：ubuntu-server18.04第一部分下载Ceph源码1.1配置Ceph源码镜像源Ceph源码是托管在Github上，由于某些原因，国内访问Github
瓦哥架构实战·2023-08-16 13:29

存储圈秘史，细说“配额管理”的那些事儿

江湖乱战分布式存储圈管理者“配额管理”出手划天下各方数据混战之际管理员划分空间应接不暇不可避免的产生资源划分不合理等问题各路“配额管理”豪杰陆续上线，力求结束纷争一统江湖职场人所熟知的办公软件“共享盘”
大道云行TaoCloud·2023-08-16 10:58

API 设计的基本原则

1、分层：高层API要为业务服务，贴近服务：业务可以是一个真实的业务系统，也可是一个分布式存储系统总之。
旺财旺财·2023-08-16 00:40

设计模式-工厂模式

usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicinterfacePhone
浅丿忆十一·2023-08-15 18:53

设计模式-抽象工厂模式

手机产品usingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicinterfacePhone{voidN
浅丿忆十一·2023-08-15 18:53

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallel
蓦然_·2023-08-15 01:37

ceph常见操作

此标签可防止cephadm在此主机上部署守护程序。如果它被添加到已经包含Ceph守护进程的现有主机，将导致cephadm移动其他位置的守护程序（OSD除外，不会自动删除）。
study_小达人·2023-08-14 16:38

Ceph入门到精通-HAproxy shell脚本安装

#!/bin/bash#需要lua-5.3.5.tar.gz、haproxy-2.8.2.tar.gz在家目录下#1编译安装lua#安装编译环境需要的包yum-yinstallgccopenssl-develpcre-develsystemd-develreadline-devel#下载lua包#wgethttp://www.lua.org/ftp/lua-5.3.5.tar.gz#解压到lua包
瓦哥架构实战·2023-08-14 11:49

ceph相关概念和部署

Ceph可用于向云提供Ceph对象存储平台和Ceph可用于提供Ceph块设备服务到云平台。Ceph可用于部署Ceph文件系统。所有Ceph存储集群部署都从设置每个Ceph节点，然后设置网络。
study_小达人·2023-08-14 11:48

Ceph分布式存储系统

Ceph是一个开源的分布式存储系统，旨在提供高性能、高可靠性和可扩展性的存储解决方案。
summer_west_fish·2023-08-14 11:18

Ceph入门到精通-分布式存储产品的测试实践

分布式存储产品的测试实践在分布式存储产品的测试过程中，测试到底做了些什么事情呢？一：测试工作内容需求，设计评审测试需要参与到每一个过程中在设计评审的时候就需要知道验收的标准，这是最重要的开始。
瓦哥架构实战·2023-08-14 11:17

2019-12-11

主要包括：基于多感知器和智能终端的健康医疗数据采集，基于云平台的分布式存储与并行计算、动态大数据的实时处理及非结构化数据处理，多元异构数据的
开心果川·2023-08-14 08:27

Ceph分布式存储系统优化分析

Ceph支持多种存储访问接口，现有的多种性能测试工具都可用于Ceph的性能测试，如测试块接口性能的fio，iometer等；测试CephFS接口的filebench，fio等;测试对象接口的cosbench
YoungerChina·2023-08-14 07:57

滴滴李航：分布式存储 Ceph 介绍及原理架构分享

导读：本文主要从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。希望对你有所帮助。
架构文摘·2023-08-13 21:39

OpenStack对接Ceph平台

OpenStack对接Ceph平台目录OpenStack对接Ceph平台1、创建后端需要的存储池(ceph-01节点操作)2、创建后端用户2.1创建密钥(ceph-01节点操作)2.1.1创建用户client.cinder2.1.2
退役小学生呀·2023-08-13 08:59

分布式数据库设计

分库设计过程中常面临的问题：分布式存储后如何保证访问效率，举例：当要查询一个key的数据时，快速定位在哪个库，如何快速地查询出来。方案一般有下面两种方式：1.1专门开放一个库来
dongdong咚咚咚·2023-08-13 06:45

iSCSI的基本架构及操作简介

关于两者的区别，可以参考本号之前的文章（分布式存储与传统SAN、NAS相比，有什么优势与劣势？），本位不再赘述。本文今天主要介绍一下iSCSI的整体架构，以及在Linux平台上启动器端（可
SunnyZhang的IT世界·2023-08-13 04:16

Redis简述｜以及它能用于做什么？

Redis支持多种数据类型，包括字符串、哈希、列表、集合和有序集合，并且支持分布式存储和操作。Redis的特点包括快速、高可用和易扩展等，适用于各种应用场景。
猿某人、·2023-08-13 02:33

史上最全！大数据开源框架技术扫盲

一目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS
hanxiaolaa·2023-08-12 16:22

壹生·百草-白术

白术（AtractylodesMacrocephala），菊科苍术属，多年生草本植物。花紫色，头状花序，以根茎入药。也称术、山蓟、杨桴、桴蓟、马蓟、山姜、山连、吃力伽。
壹生玖号·2023-08-12 12:23

站在 rados tools 看 ceph（3）

2.global_init()global_init()是全局初始化函数，所有的ceph相关进程（rados，ceph，rbd等）都需要执行该操作，msgr-worker和log线程都是在这一步创建的。
DaemonXiao·2023-08-12 08:07
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他