分布式存储第23页

区块链平台搭建

仅仅使用区块链的总账技术进行记账，可以是一个公司，也可以是个人，独享该区块链的写入权限，本链与其他的分布式存储方案没有太大区别。介入的节点只有用户自己，数据的访问和使用有严格的权限治理。

潘先森QH·2023-04-18 15:43

Ceph

一、简介Ceph是一个开源的分布式存储系统。可靠的自主分布式对象存储（RADOS）统一存储（支持多种类型，根据使用场景选择），提供对象，块和文件存储。

想成为大师的学徒小纪·2023-04-18 07:27

人民链Baas服务平台上线，中创助力人民数据共建数据服务应用场景

人民链2.0是数据要素大发展时代下的可信联盟链作为区块链分布式存储领域行业先驱与让人民放心的国家级数据云平台，中创算力与人民数据的合作从未间断。

中创算力·2023-04-18 03:21

TiKV 分布式事务键值数据库

TiKV是一个开源、统一分布式存储层，支持功能强大的数据一致性、分布式事务、水平可扩展性和云原生架构。功能特性：异地复制：TiKV使用Raft和PlacementDriver进

子阳2328·2023-04-18 02:49

Ceph运维学习详解

Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，作为主流的分布式存储技术之一，ceph越来越成为运维工程师技能树的必备要件。

豆包同学在路上·2023-04-17 21:37

ceph运维操作及解决问题

分布式存储ceph运维操作—、统一节点上ceph.conf文件如果是在admin节点修改的ceph.conf，想推送到所有其他节点，则需要执行下述命令ceph-deploy--overwrite-confconfigpushmon01mon02mon03osd01osd02osd03

FikL-09-19·2023-04-17 20:04

【Ceph】Ceph错误记录 Ceph 运维手册

Ceph运维手册第一部分：常用操作-12.日志和调试-《Ceph运维手册》-书栈网·BookStack分布式存储ceph运维操作(摘抄自：https://www.cnblogs.com/mm2021/p

bandaoyu·2023-04-17 20:33

一篇文章让你理解大数据所需要的组件

hadoop中有3个核心组件分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台：YARN——帮用户调度大量的

aaaak_·2023-04-17 16:27

【华为网络技术大赛】云计算

云计算是多种技术长期演变融合的产物，诸如分布式计算、并行计算、网络存储、分布式存储、虚拟化、裸机及容器计算、负载均衡等计算

Mjolnir1107·2023-04-17 10:04

超融合和虚拟化的区别

最重大的区别是存储架构不同，超融合使用的是分布式存储，它可以很好地基于X86服务器构建一个易扩展、高可靠的存储资源池，这是超融合的基础，也是核

Xu-小安安·2023-04-17 06:55

GIT

开源的分布式版本控制软件VCS-VersionControlSystem最初目的是为更好地管理Linux内核开发而设计Git的优势Git的速度快，性能好有效、高速的处理从很小到非常大的项目版本管理采用分布式存储方式

如也_d1c0·2023-04-17 01:40

大数据3 -Hadoop HDFS-分布式文件系统

目录1.为什么需要分布式存储？2.HDFS的基础架构3.HDFS存储原理4.NameNode是如何管理Block块的5.HDFS数据的读写流程1.为什么需要分布式存储？

像影子追着光梦游_·2023-04-16 02:19

大数据之MapReduce框架简介

MapReduce简介（一）介绍（二）特点（三）局限性三、MapReduce编程（一）MapReduce架构体系（二）MapReduce工作执行流程总结前言#博学谷IT学习技术支持#Hadoop包含HDFS分布式存储框架

敲键盘的杰克·2023-04-15 15:16

【MR原理-1】MapReduce整体架构及工作机制

其中分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。

王小康walker·2023-04-15 15:44

GFS分布式文件系统

目录一、文件系统分布式存储优点二、GlusterFS概述简介GlusterFS特点模块化堆栈式架构GlusterFS工作流程弹性HASH算法GlusterFS的卷类型1、分布式卷2、条带卷3、复制卷4、

皮卡~~~丘没电了·2023-04-15 14:33

华为

我们讲云优先，不是讲华为公司所有领域都以云优先，而仅仅在IT领域要优先实现以下几点：1、面向客户的算力和分布式存储(不含企业存储)需求时要以华为云优

卜高山·2023-04-15 02:35

分布式存储遇上企业云盘

你有没有遇到过这样的场面？当我急于使用某个文件时，发现它很麻烦，我必须在手机，计算机或USB闪存盘上考虑它吗？手机空间中是否所有视频和照片？很难在手机上找到文件，因此，在出差时，您还必须获得单独的USB闪存盘吗？在我国，城市化，网络和智能设备的飞速发展使更多的数据流失了，而越少的失控则依赖于IT建设。为人民服务的系统逐渐与数据集成在一起。智慧和安全涉及我们生活的方方面面。一方面，我们享受大数据带来

pingshu·2023-04-14 17:15

大规模知识图谱的分布式存储与检索技术研究

分布式方案的选择也意味着更为复杂的系统设计，因此有必要研究针对大规模数据集的分布式存储和检索技术。

旅行小张·2023-04-14 15:59

分析型数据库：分布式分析型数据库

分布式分析型数据库的存储层一般采用分布式存储或云存储，而计算引擎层采用独立的分布式计算引擎，

星环科技·2023-04-14 12:24

什么是IPFS分布式存储？

IPFS全称是InterPlanetaryFileSystem，直接翻译的话叫做“星际文件系统”，它由ProtocolLab提出，是一种点对点（P2P）的分布式文件系统。目标是为了补充（甚至是取代）目前统治互联网的超文本传输协议（HTTP），将所有具有相同文件系统的计算设备连接在一起。原理基于内容的地址代替基于域名的地址，无需验证发送者身份，而只需验证内容的哈希，通过这样可以让网页的速度更快、更安

海峰up·2023-04-14 12:56

Chapter4 分布式数据库HBase

BigTable是一个分布式存储系统，它最初是用于解决谷歌公司内部的大规模网页所搜问题。网页搜索可以分为两个阶段：1.第一阶段：建立整个网页的索引。

今晚滿天星·2023-04-13 23:22

《数据结构与算法之美》18——哈希算法（二）分布式应用

今天再来看看剩下的三个应用：负载均衡、数据分片、分布式存储。可能大家已经发现了，这三个应用都是与分布式相关的。没错，今天我们来学习一下，哈希算法是如何解决这些分布式问题的。

大杂草·2023-04-13 12:33

分布式存储技术解读系列之二：Ceph 的数据分布算法 | 架构进阶

1.引言数据分布是分布式存储系统的要解决的首要问题，在分布式存储系统当中，最核心也是最基本的要求就是数据的分布算法或者规则能够解决以下几个问题：（1）数据负载均衡：数据能够均匀地分布在磁盘容量不等的存储节点

宋罗世家技术屋·2023-04-13 02:17

分布式存储技术解读系列之一：Ceph| 架构进阶

【摘要】本文探讨了Ceph的架构原理、读写原理。本系列后续还将解读Swift、GFS等，欢迎关注。1.什么是Ceph？首先，我们从Ceph的官方网站上，可以看到：“Cephisaunified,distributedstoragesystemdesignedforexcellentperformance,reliabilityandscalability.”从它的定义上我们可以明确它是一种存储系统

米朵儿技术屋·2023-04-13 02:13

终于有人把Ceph分布式存储讲清楚了！

Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。但是在2014年OpenStack火爆的时候、Ceph并不被很多人所接受。当时Ceph并不稳定（Ceph发布的第四个版本Dumplingv0.67），而

程序员面试吧·2023-04-13 01:38

Hbase中Region/Store/StoreFile/Hfile之间的关系

Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的RegionServer上，但同一个Region是不会拆分到多个server上。

自知自省·2023-04-13 01:39

ELK 企业级日志分析系统

ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

过凌丁阳·2023-04-12 23:36

K8S集群中部署NFS之二：使用本地NFS文件夹创建PV

而持久化存储，NFS(NetworkFileSystem）是一个使用比较常用的分布式存储技术，在本系列中，我将详细演进如

乱七八糟谈技术·2023-04-12 06:46

K8S集群中部署NFS之一：配置NFS服务

而持久化存储，NFS(NetworkFileSystem）是一个使用比较常用的分布式存储技术，在本系列中，我将详细演进如

乱七八糟谈技术·2023-04-11 23:14

闲话云计算(五) 金融行业IaaS架构参考

存储方面，现有的分布式存储技术在功能、性能、容灾方面距离传统SAN存储还有差距，因此

zhangli_perdue·2023-04-11 20:41

金融私有云基础架构方案评估（架构与存储篇）

编者荐语本文详细介绍了金融机构如何通过超融合和分布式存储升级IT基础架构，满足数字化转型与信创转型的双重需求，并分析了典型厂商市场格局与评估要素。

志凌海纳SmartX·2023-04-11 19:39

大数据组件——Hive简介及入门

Hive简介ApacheHive是基于Hadoop的一种数据仓库工具，可以提供类似于SQL的查询语言——HiveQL，用来从存储在分布式存储系统中的大规模数据集合中检索和分析数据。

'Wu'·2023-04-11 19:14

寒冬下的IPFS热潮

它是一种内容可寻址、版本化、点对点超媒体的分布式存储、传输协议，即一个点对点的分布式文件系统协议，也被称为“星际文件系统”。

区块链三加一·2023-04-11 15:11

上线访问破万！阿里限产Kafka从实战到源码手册，不愧是业界最强

我们仅需要学习一套框架就能在实际业务系统中实现消息引擎应用、应用程序集成、分布式存储构建，甚至是流处理应用的开发与部署，听起来还是很超值的吧。总

头顶假发·2023-04-11 10:04

图床项目架构与设计

满足海量数据存储的需求架构项目采用B/S模型，服务端与浏览器进行交互，将用户的操作转换为HTTP请求发送给服务端，在服务端使用Nginx作为反向代理服务器进行请求转发，由FastCGI进程处理对应的请求，FastDFS实现文件的分布式存储

gnez-dd·2023-04-10 21:16

链战2018：公链、跨链之争下的天鹅湖（人类区块链进化二史2）

2018区块链落地应用元年我们都知道区块链有很深厚的理论基础，分布式帐本、共识机制、智能合约、密码学构筑了区块链的基石，相较于传统的分布式存储系统，分布式账本技术主要具备两种不同的特征：传统分布式存储系统执行受某一中心节点或权威机构控制的数据管理机制

悬梁刺币Mike·2023-04-10 08:38

TSFS终端存储文件系统边缘计算商业计划

数据分析随着5G技术的到来及科技的快速进步，人类对未来存储需求将出现前所未有的突破，每人需求将突破10T以上的存储空间边缘计算:分布式存储的另一种可能"边缘计算是为应用开发者和服务提供商在网络的边缘侧提供云服务和

海洋一renhe333333·2023-04-10 00:46

滴滴Ceph分布式存储系统优化之锁优化

桔妹导读：Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。

滴滴技术·2023-04-09 22:21

基于Rancher k8s部署Prometheus 监控swoole业务核心指标实战

Prometheus使用Go语言开发，是GoogleBorgMon监控系统的开源版本,性能也足够支撑上万台规模集群.多维度数据模型灵活的查询语言不依赖分布式存储，单个服务器节点是自主

letcoda·2023-04-09 18:42

微服务架构系列(一)之虚拟平台、分布式存储、高可用k8s集群环境搭建

一、物理机虚拟平台搭建1、由实向需架构转换图（每台物理机要求两块硬盘用来做分布式存储和系统盘，我的是10年前的老机器没啥大的要求）：2、系统安装去官网下载ProxmoxVE7.xISOInstaller

非生物语言学家·2023-04-09 15:45

区块链的关键技术

一，P2P网络与分布式存储——储存作用首先，P2P网络是构建了区块链的基础，基于这个基础，区块链采取的是分布式存储，它本质是一个分布式数据库，当一笔交易（数据）产生后，

王永俊·2023-04-09 11:58

Alluxio社区范斌博士访谈录：关于数据编排，云迁移以及数据工程中的挑战

加入Alluxio项目之前,范斌就职于谷歌，从事下一代大规模分布式存储系统的研究与开发。范斌2013年获得卡内基梅隆大学(CarnegieMellonUniversity)计算机系博士学位，博士期

Alluxio·2023-04-09 07:16

Hadoop HDFS 分布式文件系统

DataNode职责HDFS写数据流程HDFSHDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统是ApacheHadoop的核心组件之一，作为大数据生态圈最底层的分布式存储

VenYy·2023-04-09 05:46

Mapreduce：概述 + 实例：WordCount + yarn

1.MapReduce的工作原理在分布式计算中，MapReduce框架负责处理了并行编程里分布式存储、工作调度，负载均衡、容错处理以及网络通信等复杂问题，现在我们把处理过程高度抽象

xjfy.h·2023-04-09 05:15

【深度知识】Ceph功能，原理及架构总结

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

笔名辉哥·2023-04-09 00:02

高成长、高潜力、高社区影响，达坦科技入选 2022 中国新锐技术先锋企业

作为中国领先的新一代开发者社区，SegmentFault思否依托数百万开发者的用户数据分析，各科技企业在国内技术领域的行为及影响力指标，最终评选出15家新锐企业，达坦科技作为领先的开源分布式存储领域企业

达坦科技DatenLord·2023-04-09 00:21

大数据-学习实践-2Hadoop

2Hadoop1知识点2具体内容2.1Hadoop介绍2.2两种安装方式2.2.1伪分布集群安装部署2.2.2分布式集群安装2.2.3客户端节点3待补充4Q&A5code6参考1知识点Hadoop介绍分布式存储

yxyibb·2023-04-08 19:48

Hadoop基础介绍

3、核心组件（1）HDFS：解决分布式存储，包括数据切分和多副本两部分。（2）MapReduce：解决分布式计算，Map：分，Reduce：合。既是分布式框架，又是编程模型。（3）YAR

幸福右手牵·2023-04-08 15:01

大数据开发hive数据库常用命令汇总

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件1、进入hive数据库：hive2、查看hive中的所有数据库：showdatabases

爱开发V·2023-04-08 07:45

盘点分布式文件存储系统____分布式文件存储系统简介

一、分布式存储简介1、什么是分布式存储在开始介绍分布式存储之前，先了解一下，非分布式的存储方案。在单机时代，将文件直接存储在服务部署的服务器上——直连存储（DAS）：存储和数据直连，拓展性、灵活性差。

Archie_java·2023-04-08 06:29

推荐频道

分布式存储