分布式存储第8页

Rook-Ceph 分布式存储系统快速部署

2019独角兽企业重金招聘Python工程师标准>>>Rook-Ceph分布式存储系统快速部署ThisguidewillwalkyouthroughthebasicsetupofaCephclusterandenableyoutoconsumeblock

George_Fal·2023-11-23 09:57

微服务分布式系统中必须知道的CAP 理论

三者不可同时获得一致性（C）：所有节点都可以访问到最新的数据可用性（A）：每个请求都是可以得到响应的，不管请求是成功还是失败分区容错性（P）：除了全部整体网络故障，其他故障都不能导致整个系统不可用CAP理论就是说在分布式存储系统中

小哇666·2023-11-23 08:33

redis cluster

主从的问题假设我们一台主机有200G的内存,但是业务数据有500G,主从+哨兵只能实现高可用故障切换和冗余备份,但是无法解决容量问题.产生木桶效应.为了最大化利用内存,可以采用cluster集群,就是分布式存储

心似南风·2023-11-23 08:15

ceph linux内核配置,centos 7.4-aarch64如何编译Ceph

一、Ceph简介简而言之，Ceph作为一个分布式存储系统设计的目标定位为：①可轻松扩展到数PB级别的容量(Ceph目前的版本可以轻松支持EB级别的存储容量)②能够自动适应多种工作负载的高性能(每秒输入/

weixin_39928787·2023-11-22 22:17

Redis：集群部署

2.Redis集群RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。

Taopper·2023-11-22 18:58

WTable:RocksDB使用技巧之分布式存储扩容演进

1.背景RocksDB是由Facebook公司开源的一款高性能KeyValue存储引擎，目前被广泛应用于业界各大公司的存储产品中，其中就包括58存储团队自研的分布式KV存储产品WTable。RocksDB基于LSMTree存储数据，它的写入都是采用即时写WAL+Memtable，后台Compaction的方式进行。当写入量大时，Compaction所占用的IO资源以及对其读写的影响不容忽视。而对于

爱情小傻蛋·2023-11-22 09:42

漏洞预警|Apache Airflow Hive Provider命令注入漏洞

ApacheAirflowHiveProvider是一个使用SQL读取、写入和管理分布式存储中的大型数据集的工具

棱镜七彩·2023-11-22 06:46

Docker-13：Docker安装Hbase

1.背景HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文Bigtable：一个结构化数据的分布式存储系统”。

王老邪·2023-11-22 04:30

使用Docker部署HBase并使用Java-API连接

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

当一艘船沉入海底8·2023-11-22 04:56

预约线上发布会 | “星星之火”精彩观点抢先看

星海全闪架构暨星飞存储发布会，到场嘉宾共同见证了全新的分布式全闪架构“星海（XSEA，eXtremeShared-EverythingArchitecture，极速全共享架构）”及星飞（XINFINI）全闪分布式存储的发布

XSKY星辰天合·2023-11-22 04:05

迎接“全全闪”时代星辰天合发布星海架构和星飞产品

星海全闪架构暨星飞存储发布会，到场嘉宾共同见证了全新的分布式全闪架构“星海（XSEA，eXtremeShared-EverythingArchitecture，极速全共享架构）”及星飞（XINFINI）全闪分布式存储的发布

XSKY星辰天合·2023-11-22 04:04

使用PHP操作MinIO

最近实验了下MinIO，发现这个分布式存储还是很好用的，具体不做赘述。此处记录下使用PHP操作存储桶下的文件及文件夹。

不如喫茶去·2023-11-22 03:51

hadoop、hive、DBeaver的环境搭建及使用

本文主要介绍hadoop、hive的结构及使用，具体的操作步骤见最后的附件；hadoop提供大数据的存储、资源调度、计算，分为三个模块：HDFS、YRAN、MapReduceHDFS提供数据的分布式存储

骑士999111·2023-11-22 03:14

Kubernetes中分布式存储Rook-Ceph部署快速演练

最近在项目中有涉及到Kubernetes的分布式存储部分的内容，也抽空多了解了一些。

dotNET跨平台·2023-11-22 00:26

电力感知边缘计算网关产品设计方案-业务流程设计

边缘计算数据通信框架图：2.边缘计算数据处理方案边缘计算智能网关通过获取工业生产加工的原始数据，实现数据实时通信、边缘计算控制、分布式运算、分布式存储、网关数据安全防护等功能，为工业流程生

人生淡然·2023-11-21 22:36

Web3 分布式存储 IPFS（Web3项目一实战之四）

IPFS是一种分布式文件存储协议，它允许世界各地的计算机存储和服务文件作为一个巨大的对等网络的一部分来存储和服务文件。世界上任何地方的任何计算机都可以下载IPFS软件并开始托管和提供文件。如果有人在自己的计算机上运行IPFS，并将文件上传到IPFS网络，那么世界上其他任何运行IPFS的人都可以查看和下载该文件。本地安装IPFS我们可以下载官方已经编译好的二进制文件（安装包）：https://doc

甄齐才·2023-11-21 21:01

Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理

一、Ceph简介众所周知，ceph是一种分布式存储系统，是有着“ceph之父”之称的SageWeil读博期间的研究课题，项目诞生于2004年，在2006年基于开源协议开源了Ceph的源代码，在经过了数年的发展之后

诸葛钢铁云·2023-11-21 12:08

分布式架构关键技术

分布式的概念所谓分布式，狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。

talentluke·2023-11-20 20:53

分布式存储系统Minio

多主机、多硬盘模式（分布式)适合存储大容量非结构化的数据该模式是Minio服务最常用的架构，通过共享一个accesskey和secretkey,在多台（2-32）服务器上搭建服务，且数据分散在多块（大于4块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon纠删码）。

zty_1995·2023-11-20 18:54

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode和一个jps一、创建路径mkdir如果你的HDFShome目录不存在，则需要创建，我们后续都是用hdfs命令操作。首先cd命令进入

西岸先生·2023-11-20 12:31

四、hdfs文件系统基础操作-保姆级教程

启动集群:start-dfs.sh关闭集群:stop-dfs.sh2、文件系统构成（1）基础介绍其实hdfs作为分布式存储的文件系统，其构成和Linux文件系统构成差不多一样，均是以“/”作为根目录的组织形式

弦之森·2023-11-20 12:20

国产联盟链 Fisco-Bcos 调技术研报告

两翼指的是支持并行计算模型和分布式存储，并行计

smilejiasmile·2023-11-20 11:37

【成长日记】无币区块链，应该了解一些内容

比特币技术中通过分布式存储、共识机制、激励机制这些手段去完成。（三）思考这里面如果没有

能学多少学多少·2023-11-20 08:48

javaapi 访问 hbase

Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

数据萌新·2023-11-20 05:35

数据结构与算法之美学习笔记：22 | 哈希算法（下）：哈希算法在分布式系统中有哪些应用？

目录前言应用五：负载均衡应用六：数据分片应用七：分布式存储解答开篇&内容小结前言本节课程思维导图今天，我们再来看剩余三种应用：负载均衡、数据分片、分布式存储。

浊酒南街·2023-11-19 23:43

CnosDB有主复制演进历程

分布式存储系统的复杂性涉及数据容灾备份、一致性、高并发请求和大容量存储等问题。本文结合CnosDB在分布式环境下的演化历程，分享如何将分布式理论应用于实际生产，以及不同实现方式的优缺点和应用场景。

CnosDB·2023-11-19 22:12

GFS分布式文件系统

分布式存储优点：增加存储容量加快读写效率保证文件高可用GFS介绍GFS：glusterFS开源的分布式的文件系统存储服务器，客户端，网络（用NFS/samba组成网关）传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息

aaa.com·2023-11-19 01:19

MySQL InnoDB Buffer Pool 概览

InnoDBBufferPool浅析庄泽超互联网民工／关注分布式存储／数据库内核／wower已关注BufferPool简介InnoDB中的数据访问是以Page为单位的，每个Page的大小默认为16KB，

lixora·2023-11-17 06:37

【系统架构设计】架构核心知识： 3.5 Redis和ORM

目录一Redis1Redis与MemCache2Redis分布式存储方案3Redis集群切片的方式4Redis数据分片

Jackilina_Stone·2023-11-17 04:08

qt实现拓扑图_基于QT的PLC梯形图编辑系统设计与实现

李驰骎王庭有李应春杨安园摘要：为了探索PLC梯形图编辑系统的设计方法，从梯形图编程系统设计需求出发，分析传统梯形图网络的不足，采用一种高自由度的网络拓扑结构描述梯形图网络，并根据该网络拓扑结构提出一种分布式存储方案

weixin_39971172·2023-11-16 08:25

Hadoop的概述

Hadoop是一个基于海量数据的分布式存储和分布式计算

新手小农·2023-11-16 08:46

1.1 Ceph基础及集群的搭建

1.Ceph基础ceph是可靠的、自动重均衡、自动恢复的分布式存储系统。

xiaoyizi311·2023-11-15 15:52

使用cephadm部署单节点ceph集群，后期可扩容（基于官方文档，靠谱，读起来舒服）

使用条件服务器有外网访问能力服务器没有外网访问能力安装cephadmcephadm的功能两种安装方式基于curl安装cephadm各自linux发行版的特定安装方法在部署ceph前先花10分钟给各位看官扫盲（原创）ceph分布式存储的整体架构一些

上海一亩地·2023-11-15 15:16

ceph集群移除物理节点

1.概述ceph分布式存储在生产或者实验环境，经常涉及到物理节点加入或者删除，本文仅对移除物理节点的相关步骤做了操作记录，以方便需要时查阅。

牛角上的男孩·2023-11-15 15:37

算法之哈希算法

哈希函数的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储问题总结：参考资料前言哈希算法和散列函数其实很多同学可能会混淆，一头雾水，其实散列函数只是哈希算法的一种实践应用。

遇见更好的自己、·2023-11-15 13:35

docker部署Prometheus+Cadvisor+Grafana实现服务器监控

Prometheus1：介绍：Prometheus是一个在SoundCloud上构建的开源系统监视和警报工具包2：特点多维度数据模型-由指标键值对标识的时间序列数据组成；PromQL，一种灵活的查询语言；不依赖分布式存储

huaweichenai·2023-11-15 11:48

谈谈对微服务的理解(PHP面试理论题)

二、出现原因三、体系四、微服务架构的优点五、微服务的缺点六、学习路线简介参考的学习链接微服务设计云原生分布式存储基石：etcd深入解析Docker技术入门与实战每天5分钟玩转Kubernetes左耳听风从

后端常规开发人员·2023-11-15 08:57

“颠覆·挑战·极致”华瑞指数云ExponTech WDS新一代产品重新定义企业存储和数据架构

国内数据存储领域领先厂商华瑞指数云ExponTech自主研发的高性能、高可靠的分布式存储产品ExponTechWDS成为优秀之选11月10日，主题为“颠覆·挑战·极致——重新定义企业存储和数据架构”华瑞指数云

CSDN云计算·2023-11-13 22:23

ceph集群—部署（附错误点解析）

ceph-deploy6.部署ceph集群7.osd共享磁盘服务存储类型：DAS直连存储（satasas）NAS（网络附加存储）sambanfsftp文件系统SAN（存储区域网络）iscsi块（SDS）软件定义存储分布式存储传统的存储

吃饭就用盆·2023-11-13 13:06

分布式存储Ceph部署

分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。SageWeil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。

Ymaint·2023-11-13 13:35

云数据库MongoDB监控指标解读与关注

演讲嘉宾简介：陈柯任（花名：莫归），阿里巴巴高级开发工程师，曾在大众点评从事MongoDB与MySQL相关运维和自动化研发，现主要致力于分布式存储和NoSQL数据库相关领域以下内容根据演讲嘉宾视频分享以及

Winsdons·2023-11-12 13:44

CentOS7下搭建Ceph分布式存储架构

(1).Ceph概述Ceph是为了优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统，并且还是一个开源的分布式文件系统。因为其支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储的后端。当然Ceph也可以单独作为存储，例如部署一个集群作为对象存储、SAN存储、NAS存储等。Ceph中文开源社区地址：Ceph中国社区–TheFutureofSto

假面生·2023-11-12 12:52

谈谈桌面虚拟化

“一项好的技术不会消亡，它只是会不断的以新的形式重新出现”--我自己现如今流行的各种热门技术--云计算，大数据，深度学习，分布式存储，等等等等，其实都不是某一年突然从石头里面蹦出来的。

weixin_34200628·2023-11-12 11:26

深入浅出分布式存储的设计与优化之道

随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。由于其前瞻性，众多企业都将其作为进军云计算的第一步。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存储未

UCloud_TShare·2023-11-12 05:43

一致性算法介绍（二）

1.4.NWRN：在分布式存储系统中，有多少份备份数据W：代表一次成功的更新操作要求至少有w份数据写入成功R：代表一次成功的读数据操作要求至少有R份数据成功读取NWR值的不同组合会产生不同的一致性效果，

狠情·2023-11-11 08:26

云架构师学习------云存储白皮书深入理解

云存储白皮书深入理解行业描述数字经济时代的到来1、基础设施的云化2、核心技术互联网化3、应用数据化和智能化存储行业的变革1、存储服务网络的巨变2、云原生对云存储的新要求3、智能与存储的交相辉映技术产品（阿里云为例）自研分布式存储技术

Avery123123·2023-11-11 03:32

智能物联网时代里信息存储、处理和传输方式的变化浅谈

因此，分布式存储技术将得到更广泛的应用，如区块链技术、云存储技术等。这些技术将使数据存储更加安全、可靠和高效。2、处理方式的变化：物联网设备数量

成都亿佰特电子科技有限公司·2023-11-10 19:08

和数链“分布式存储”技术结合隐私计算让数据更安全

存储是IT业的核心技术，全球存储行业历经半个世纪的洗礼，在技术和需求相互促进的演变下沧桑变幻，经历桌面级存储、企业级存储、云存储多次迭代变迁。目前的存储方式主要是“大数据中心”等集中式存储，随着数据规模和复杂度的迅速增加，数据存储服务日益成为互联网发展的瓶颈，数据存储的安全性受到了极大的挑战。隐私泄露、数据丢失、黑客攻击、传输效率低、存储成本增加等因素，阻碍互联网的进一步发展。随着大数据时代和云计

华南首席酱油官·2023-11-10 17:45

分布式存储-Minio环境搭建

目录简介基于docker环境的minio单机部署docker环境搭建minio环境搭建基于java的文件上传和下载文件上传问题java连接服务端的用户名、密码和端口问题不能连接上Minio服务上传文件权限简介官网：https://docs.min.io/MinIO是一个基于ApacheLicenseV2.0开源协议的轻量级的对象存储服务。适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数

Ning静致远·2023-11-10 09:52

假装得大佬·2023-11-10 06:05

推荐频道

分布式存储