分布式存储第12页

基于 ceph-deploy 部署 Ceph 集群超详细

Cephpart1一、存储基础1.1单机存储设备1.2单机存储的问题1.3单机存储问题的解决方案1.3.1商业存储解决方案1.3.2分布式存储（软件定义的存储SDS）二、分布式存储2.1常见的分布式存储

白幽幽白·2023-10-12 19:46

在一台Ubuntu服务器中部署Ceph分布式存储

环境OS：Linux5.15.0-82-generic#91-UbuntuSMPMonAug1414:14:14UTC2023x86_64x86_64x86_64GNU/Linuxcephversion17.2.6(d7ff0d10654d2280e08f1ab989c7cdf3064446a5)quincy(stable)准备#安装GPG证书curl-fsSLhttp://mirrors.ali

dxwd320·2023-10-12 18:49

啊呜呜么么叽·2023-10-12 18:46

【HADOOP面试指南】

HadoopHadoop中常问的就三块第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。

耗子尾汁(⩺_⩹)·2023-10-12 06:03

分布式存储同台竞技，IPFS/Filecoin有何优势？

分布式存储的项目有很多，比如Arweave、Sia、FilSwan和SINSO等等,那么IPFS/Filecoin的优势在哪里？

IPFS分布式存储及FIL介绍·2023-10-12 06:48

基于 ACK Fluid 的混合云优化数据访问（三）：加速第三方存储的读访问，降本增效并行

的混合云优化数据访问（一）：场景与架构基于ACKFluid的混合云优化数据访问（二）：搭建弹性计算实例与第三方存储的桥梁在前一篇文章《搭建弹性计算实例与第三方存储的桥梁》中，介绍如何通过ACKFluid接入第三方分布式存储

阿里云云原生·2023-10-12 06:13

分布式存储 - 含DB读写分离/主从同步/分库分表/ - 学习/实践

1.应用场景主要用于解决高并发,储存压力.这涉及到性能与容量问题，并不是说存储，就只是考虑容量，而不用考虑性能。不过通常是为了强调容量问题的解决。2.学习/操作1.文档阅读08|数据库优化方案（一）：查询请求增加时，如何做主从分离？-极客时间09|数据库优化方案（二）：写入数据量增加时，如何实现分库分表？-极客时间10|发号器：如何保证分库分表后ID的全局唯一性？-极客时间11|NoSQL：在高并

宁小法·2023-10-11 23:32

2021-07-31 - 需要打印出来的图表 - 含各种机制

-极客时间分布式存储-含DB读写分离/主从同步/分库分表/-学习/实践_分布式存储db-CSDN博客SQL更新语句的执行流程与日志写入2.整理输出2.1MySQL1.MySQL主从同步机制20210731

宁小法·2023-10-11 23:17

银心科技与黑萤科技达成战略合作，联合构建区块链数据库存储生态至高点

元为开始，旦为天明，2019年元月，分布式存储领域利好不断，先是海外知名项目、全球首个区块链数据库存储ORA甲骨链在熊市逆势获得千万元投资，随后又于19日在新加坡举行了收购存储公链BFOS的盛大仪式，引起分布式存储领域一片哗然

黑萤科技·2023-10-11 11:12

读github指南笔记

201807081socialcoding2linux创始人发明3svn与git区别svn集中式存储，代码在服务器更新，合并git分布式存储。

huangzhuyun·2023-10-11 03:18

论文阅读笔记（Clover: 计算与存储被动分离的分布式键值存储系统）

DisaggregatingPersistentMemoryandControllingThemRemotely:AnExplorationofPassiveDisaggregatedKey-ValueStores这篇论文的笔记原文链接提出背景传统的分布式存储系统中

YoungerChina·2023-10-11 01:35

离线安装ceph集群(ceph-13.2.10)

版本：操作系统：CentOS7.9ceph版本：ceph-13.2.10名词：Ceph:一个开源的分布式存储系

zhangbeizhen18·2023-10-10 22:27

Ceph高级工具介绍之ceph-kvstore-tool的使用

0简介Ceph是一个复杂的分布式存储系统，有很多组件组成，不光学习成本比较高，而且运维难度也是相当的大。但近几年，它却很受大家的欢迎，越来越多的互联网企业开始采用ceph来构建自己的存储。

瞧见风·2023-10-10 22:54

分布式存储 Ceph 介绍及原理架构

概要本文主要介绍Ceph存储，从架构简介使用场景，以及内部IO流程、心跳机制、通信框架、CRUSH算法、QOS等多个方面逐渐介绍分布式存储系统Ceph的特性。

木零行·2023-10-10 20:32

罗辑思维首席架构师：Go微服务改造实践

十多年一直专注于后端技术的研发，在消息通信，分布式存储等方向有着丰富的经验。个人技术兴趣广泛，主要专注Go/Ja

weixin_34405332·2023-10-10 17:57

分布式存储系统如何应对SSD硬盘UNC坏块可靠性问题？

UncorrectableBitErrors（UNC），也有时候叫做MediaError（介质错误）是指在闪存设备中出现的无法修复的位错误。MediaError的产生意味着即使硬盘自身已经用尽了所有容错手段（如LDPC解码，retry等），该扇区（LBA）的数据已经无法被正确读出，这些错误是由于闪存单元的物理磨损或损坏所导致的，随着闪存设备使用时间的增长，出现UNC的可能性也逐渐增加。对云数据中心

古猫先生·2023-10-10 07:31

大数据系统架构-Hadoop生态系统

Hadoop是较早用于处理大数据集合的分布式存储计算基础架构，通过Hadoop，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的为例执行告诉运算和存储。

小成小成小成·2023-10-10 02:08

传统存储方式_与众不同的对象存储

而在现在，随着分布式和云技术的流行，存储也搭上发展的顺风车，云存储，分布式存储，对象存储等等，各种新的名词不断涌现，令人目不暇接。

weixin_39578516·2023-10-09 22:48

神经网络概念解释和特点,神经网络概念解释大全

然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于

小浣熊的技术·2023-10-09 13:46

项目技术点剖析

1、使用Redis实现分布式部署单点登录（单点登录第一种方法：redis分布式存储解决方案）因为这个项目是一个分布式部署的项目，而且我们采用的是nginx负载均衡的策略，导致了每一个服务器都需要开辟一个空间来进行用户信息的维护

Hanmin_hm·2023-10-09 11:41

SpringCloud微服务实战——搭建企业级开发框架（三十六）：使用Spring Cloud Stream实现可灵活配置消息中间件的功能

在进行框架设计的时候，我们考虑是否能够和之前实现的短信发送、分布式存储等功能一样，抽象统一消息接口，屏蔽底层实现，在用到消息队列时，使用统一的接口代码，然后在根

全栈程序猿·2023-10-09 03:01

分布式文件系统HDFS(林子雨慕课课程)

3.4HDFS的存储原理3.5HDFS数据读写3.5.1HDFS的读数据过程3.5.2HDFS的写数据过程3.6HDFS编程实战3.分布式文件系统HDFS3.1分布式文件系统HDFS简介HDFS就是解决海量数据的分布式存储问题为什么会出现分布式文件系统

几窗花鸢·2023-10-09 00:47

个人：大数据复习清单

大数据技术两大核心技术：分布式存储，分布式处理。大数据计算模式：批处理计算、流计算、图计算、查询分析计算。云计算处理了两大核心问题：海量数据的分布式存储和分布式

imyLove7·2023-10-09 00:40

Hadoop(林子雨慕课课程)

Hadoop2.1Hadoop简介Hadoop可以支持多种编程语言:c,c++,java,pythonHadoop用java语言开发，具有跨平台特性Hadoop两大核心：HDFS+MapReduce分别解决了海量数据的分布式存储和分布式处理问题

几窗花鸢·2023-10-09 00:05

Windows电脑上的多开器与分布式存储系统的关系

Windows电脑上的多开器和分布式存储系统是两个不同的概念，二者之间没有直接的关系。多开器是一种软件，它可以在Windows电脑上让用户同时运行多个同一应用程序的实例。

kaixingba·2023-10-08 19:25

Hbase 概念扫盲

首先，它大部分的时候，依赖于Hadoop的分布式存储方案HDFS，HDFS的设计初衷就是为了方便水平扩展。Hbase依赖于它，将物理数据落户HDFS。

送过快递的码农·2023-10-08 19:01

干货 | 分布式系统的数据分片难题

下面请看具体内容~分布式系统，尤其是分布式存储系统，需要解决的两个最主要的问题即数据分片和数据冗余，下图形象生动地解释了其概念和区别：图1来源于：http://book.mixu.net/dis

running_elephant·2023-10-08 15:39

大数据Hadoop原理：大数据Hadoop技术原理简介

关于Hadoop，大家都知道这是目前市面上主流的大数据都在用的框架，通过分布式存储和分布式计算来解决海量数据处理的问题。目前Hadoop已经更

加米谷大数据张老师·2023-10-08 06:05

MySQL Cluster

分布式存储：NDB存储引擎支持将数据分布在多

恋喵大鲤鱼·2023-10-07 22:16

Redis持久化、Redis删除策略、Redis淘汰策略、Redis主从复制架构、Redissentinel架构、Redis分布式存储架构、Redis实现多级缓存

基于c语言开发高性能key-value存储非关系形数据库数据库。一基础知识1.1五种类型操作1.1.1String1.脚本操作：#添加setkeyvalue#获取getkey#删除数据delkey#添加或者修改多个数据msetkey1value1key2value2#获取多个数据mgetkey1key21.1.2hash每一个key对应的value，类似HashMap集合存储数据的结构。底层使用哈

想回家种地的程序员·2023-10-07 16:37

转载:Nginx 架构及核心流程及模块介绍

转载:Nginx架构及核心流程及模块介绍来源：公众号分布式存储缓存高性能作者：李航1.Nginx简介以及特点Nginx简介：Nginx(enginex)是一个高性能的Web服务器和反向代理服务器，也是一个

meng_philip123·2023-10-07 14:10

大数据学习，涉及哪些技术？

分布式存储系统：如HadoopHDFS、AmazonS3、GoogleCloudStorage等。数据仓库：如AmazonRedshift

金木讲编程·2023-10-07 08:14

Python数据攻略-Hadoop集群中PySpark数据处理

Hadoop是一个开源的分布式存储和计算框架。它让我们可以在多台机器上存储大量的数据，并且进行高效的数据处理。

Mr数据杨·2023-10-07 08:33

大规模分布式存储系统：原理解析与架构实战 (大数据技术丛书) - 电子书下载 -（百度网盘高清版PDF格式）...

大规模分布式存储系统：原理解析与架构实战(大数据技术丛书)-杨传辉在线阅读百度网盘下载(89hy)书名:大规模分布式存储系统：原理解析与架构实战(大数据技术丛书)作者:杨传辉格式:EPUB,HTMLZ,

xiaohuanglv·2023-10-06 20:22

Minio分布式存储系统

Minio分布式存储系统Minio简介分布式系统高可用设计分布式设计数据保护高可用限制一致性安全Minio纠删码Minio如何使用纠删码Minio优点位衰减bitrot保护应用场景Minio简介Minio

m0_67403073·2023-10-06 17:50

Keepalived高可用、部署Ceph分布式存储

案例链接Keepalived高可用1.1问题部署两台代理服务器，实现如下效果：利用keepalived实现两台代理服务器的高可用配置VIP为192.168.4.80修改对应的域名解析记录1.2方案实验拓扑如图-1所示，做具体实验前请先配置好环境。image图-1备注：实际操作中DNS服务代理服务器部署在同一台主机上（节约虚拟机资源）。主机配置如表-1所示。表-1image1.3步骤实现此案例需要按

秋天丢了李姑娘·2023-10-06 17:13

Redis缓存简述

Redis用缓存:提前把数据取出来保存好(通常保存到读写更快的介质,比如内存),就可以更快地读写缓存分类分布式缓存Redis(分布式缓存)memcached(分布式)Etcd(云原生架构的一个分布式存储

踏遍三十六岸·2023-10-06 09:42

Kafka核心原理

通过分片，将一个大的容器分解为多个小的容器，分布在不同的节点上，从而实现分布式存储。分片的数量没有限制，与节点数量没有关系，分片数量不会超过总节点数量的三倍。

我的棉裤丢了·2023-10-05 21:37

分布式存储的前世今生：Filenet未来发展势不可挡！

Filenet致力于存储和分发有价值的内容。用区块链完成价值交换和价值传递，未来将成为区块链3.0时代内容经济的新风向。从最开始的286计算机，硬盘20M，软盘1M，到后来开始出现了光盘，存储空间700M。再到后来用调制解调器拨号上网，开始有了第一个电子邮箱。设定邮箱的时候有服务器参数填写，这时候大家开始有了服务器概念。邮箱的文件传送是通过服务器来进行的，服务器给用户提供文件的存储，还有为各种论坛

壹五叁说IPFS·2023-10-05 20:24

单机高并发模型设计

背景在微服务架构下，我们习惯使用多机器、分布式存储、缓存去支持一个高并发的请求模型，而忽略了单机高并发模型是如何工作的。

知食份子.·2023-10-05 19:15

AI如何实施本地化

Java应用开发中的Maven是对实体本地jar包的一种互联网分布式存储实现。Maven对项目的构建分为清除clean，编译compile,package打包，insta

程序员是干活的·2023-10-05 09:36

1.HDFS基础知识

具备哪些特性（功能、优点、作用）（参考视频-「为什么中国网盘这么难」）分布式分布式存储能-无限扩展-支持海量数据存储分块存储针

敲代码的羊·2023-10-05 05:41

【es】通过API操作es集群

2.可扩展性强：天然支持分布式存储，可简单实现上千台服务器的分布式横向火绒。3.高可用，容灾性能好：通过主备节点及故障自动检测与恢复，实现高可用。一、关于ES和MySQL的概

Bogon·2023-10-04 16:18

【译】Apache Hadoop 系列之三（用户指南）

概述HDFS是使用Hadoop程序来实现的分布式存储系统。一个HDFS集群主要包含管理文件系统命名空间的Namenode以及存储实际数据的Datanode

Kooola大数据·2023-10-04 16:02

喜讯！滨合云智实力获Filecoin创始人高度认可！亲自为高标准矿场点赞！

2019年，滨合云智研发团队持之以恒专注分布式存储技术以及ipfs/filecoin相关技术研发，积极提交相关代码，积极参与filecoin测试网等各个阶段并帮助File

滨合云智·2023-10-04 10:05

为什么比特币不怕被盗？|区块链专题（7）

比特币的去中心化是用非对称加密技术和分布式存储实现的。这一节我们继续讲比特币的第2个特性（即不可篡改特性）及其技术实现的来源。

黄金小哥·2023-10-04 02:15

Hadoop介绍——HDFS

•Hadoop简介：hadoop官网–分布式存储系统HDFS（HadoopDistributedFileSystem）POSIX•分布式存储系统•提供了高可靠性、高扩展性和高吞吐率的数据存储服务–分布式计算框架

南宫萧言·2023-10-04 01:15

一览IPFS技术与应用探寻Filecoin激励逻辑

本篇研报将从分布式存储的发展沿革、技术的第一性角度出发阐述IPFS的技术与应用，并延展至建立在IPFS上的Filecoin激励逻辑，展现围绕IPFS展开的生态图景。

17722458029·2023-10-02 22:51

猛犸大陆——区块链核心技术

猛犸大陆显卡矿机；QQ群+770528986跟传统的分布式存储有所不同，区块链的分布式存储的独特性主要体现在两个方面：一是区块链每个节点都按照块链式结构存储完整的数据，传统分布式存储一般是将数据按照一定的规则分成多份进行存储

d719f6b05f08·2023-10-02 16:15

编程随笔-ElasticSearch知识导图(2)：分布式架构

带着图1中的问题我们来探究一下ES集群，ES集群是一个典型的主从结构，从某种意义上来说，符合现今大多数主流分布式存储、分布式计算系统的审美要求。下面我们逐步来了解集群中的这些东东。

weixin_34186950·2023-10-02 13:40

推荐频道

分布式存储

基于 ceph-deploy 部署 Ceph 集群 超详细