GridFS分布式存储第18页

Redis的主从集群搭建与配置

Cluster模式：实现了Redis的分布式存储，也就是说每台Redis节点上存储不同的内容。Re

黎明⁢·2023-08-02 11:25

Elasticsearch入门（二）—— 分布式架构原理分析

本章主要介绍ES的分布式架构，ES的分布式存储主要依赖于分片，分片又分为主分片和副本分片PrimaryShard(主分片)PrimaryShard可以将索引的数据分散到多个DataNode上，实现存储的水平扩展

樂浩beyond·2023-08-01 19:59

【存储】etcd(4)-raft

但是etcd是一个基于raft协议实现的cp模型的分布式存储，只了解其状态机的工作原理是不够的。本文我们就来介绍etcd中的raft模块的具体实现。

shanxiaoshuai·2023-08-01 13:02

区块链系统开发特点区块链前景

区块链经历了比特币1.0时代，以太坊2.0时代，以及目前正在进行的3.0时代，应用领域正在蔓延到各行各业，主要底层技术包含：密码学、共识算法、分布式存储、P2P网络系统。

互联IT资讯·2023-08-01 13:23

HDFS 分布式存储 spark storm HBase

HDFS分布式存储sparkstormHBase分布式结构masterslavenamenodeclient负责文件的拆分128MB3份datanodeMapReduce分布式计算离线计算2.X之前速度比较慢对比

Wzideng·2023-08-01 12:07

ERP重构-SLA子分类账-分布式实现方案

期望有一个统一的子分类账配置中心和执行引擎，特别是现在业务模块很多，海量数据，各系统都是分布式存储。比如费控模块每个月才万行、应付模块每个月百万行级别、库存模块每个月10亿行级别。

软件开发随心记·2023-07-31 22:29

大数据技术及大数据架构

大数据架构分为：数据来源层->数据采集层->分布式存储层->传输层->分析计算层->业务存储层->展示层共七层，基本使用flumesqoophivehadoopsparkflinkmysqlredislogstashelasticsearchdatax

玄明Hanko·2023-07-31 17:39

分布式存储介绍

一、分布式存储分布式系统是大量普通的PC通过网络互连，对外提供一个整体的存储服务分布式存储系统有以下的特性：可扩展性：分布式存储系统可以扩展到几百台的集群规模，而且随着集群规模的增长，系统的整体性能呈线性增长

陈超同学·2023-07-31 07:23

NOSQL-Redis简介

如Redis，Voldemort,OracleBDB列存储数据库：这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。

true?success:fail·2023-07-31 03:44

大数据基础入门 ------文章来源于：某个入门课程

java和大数据的关系学习大数据需要的基础和路线第二课：Hadoop的背景起源一分布式存储如何解决大数据的存储？（HDFS）第三课：hadoop的背景起源二一、什么是大数据，本质？

8000006808·2023-07-30 20:21

C D N基本常识以及基础概念

简单地说，内容分发网络(CDN)是一个经策略性部署的整体系统，包括分布式存储、负载均衡、网络请求的重定向和内容管理4个要件，而内容管理和全局的网络流量管理(TrafficManagement)是C

耀磊梁sir·2023-07-29 14:18

高性能系统架构设计

大型动态应用系统又可分为几个子系统：Web前端系统负载均衡系统数据库集群系统缓存系统分布式存储系统分布式服务器管理系统代码分发系统1、Web前端系统为了达到不同应用的服务器共享、避免单点故障、集中管理、

霍夫曼·2023-07-29 12:22

Ceph部署

Ceph部署一、Ceph存储基础1、单机存储设备2、单机存储的问题3、商业存储解决方案4、分布式存储（软件定义的存储SDS）5、分布式存储的类型二、Ceph简介1、Ceph优势2、Ceph架构3、Ceph

guyunbingyb·2023-07-29 03:16

K8s使用Ceph作为后端存储

Ceph概述部署Ceph集群Ceph存储使用Pod使用Ceph持久化数据Ceph监控Rook部署Ceph1❖Ceph概述Ceph介绍Ceph架构Ceph核心概念Ceph介绍Ceph是一个开源的分布式存储系统

主主主主公·2023-07-29 00:19

分布式存储Ceph部署

前言Ceph和GlusterFS都是出色的分布式存储，其中Ceph广泛由于Openstack以及K8S。

叱咤少帅（少帅）·2023-07-29 00:47

业界内主流图数据库调研

调研结果数据库Neo4jTigerGraphOrientDBJanusGraph存储原生图（高）原生图（高）非图，空间浪费比较严重非图查询CypherGSQLSqlGramiln分布式支持Ha不支持分布式存储支持

Timmer丿·2023-07-28 04:13

@ceph 集群搭建部署

文章目录**ceph**集群部署（分布式存储）一、安装操作系统二、硬件配置三、网络环境配置四、主机名部署五、开启**yum**缓存（每台主机均）六、操作系统升级（依赖包安装）七安装常用软件（每台机器）八

ଲ小何&才露煎煎饺·2023-07-27 23:37

ceph集群搭建

文章目录理论知识具体操作搭建ceph本地源yum源及ceph的安装配置NTP（解决时间同步问题）部署ceph自定义crush理论知识Ceph是一个分布式存储系统，并且提供了文件、对象、块存储功能。

王哞哞哞哞·2023-07-27 23:36

数字身份、分布式存储、跨链技术等将如何推动Web3数据的发展？

其中，数字身份、分布式存储、跨链技术等将会是Web3数据发展的重要推动力。

dingzd95·2023-07-27 13:37

centos7上单机安装fastdfs6.0.9

1、背景最近由于某些原因接触到了分布式存储，而像阿里云的OSS等都是需要付费的，那么有没有免费的呢？fastdfs就是一个免费的，此处记录一下如何搭建一个单机版的fastdfs环境。

huan1993·2023-07-27 06:34

大数据课程D2——hadoop的概述

hadoop的常见命令；⚪了解hadoop的执行流程；一、简介1.概述1.HDFS(HadoopDistributedFileSystem-Hadoop分布式文件系统)是Hadoop提供的一套用于进行分布式存储的机制

伟雄·2023-07-27 05:44

ceph:分布式存储系统续

ceph:分布式存储系统续一、创建CephFS文件系统MDS接口1.1服务端操作1.2客户端操作1.2.1示例二、创建Ceph块存储系统RBD接口2.1查看镜像的详细信息2.2修改镜像大小2.3删除镜像

一往无前从今始·2023-07-27 04:37

ceph:分布式存储系统

ceph:分布式存储系统一、ceph介绍1.1存储基础1.1.1单机存储设备1.1.2单机存储的问题1.1.3分布式存储（软件定义的存储SDS）1.1.4分布式存储的类型1.2Ceph简介1.3Ceph

一往无前从今始·2023-07-27 04:06

spark-core概述

叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合.Dataset:一个数据集，简单的理解为集合，用于存放数据的Distributed：它的数据是分布式存储

Wzideng·2023-07-27 04:04

分布式存储技术调研

适合场景，可用，怎么搭建使用MinIO(注意该开源使用的AGPL-3.0协议)https://www.minio.org.cn/相关使用场景：MinIO适用于需要快速、可扩展和高性能对象存储的场景。它可以用作私有云或公共云环境中的存储解决方案，并且与云原生应用程序和大数据分析平台兼容。优点：高性能、可扩展、与AmazonS3API兼容、轻量级、数据冗余和容错性。缺点：不适用于复杂的目录结构和文件关

咬紧牙关i·2023-07-26 20:35

mongoDB应用篇-mongo聚合查询

上篇我们学习了MongoDB中的一些特殊集合，如TTL集合与固定大小的集合，特殊的索引-文本索引，以及mongo的高级功能GridFS文件存储功能的支持，本篇我们开始从数据分析的角度来学习，MongoDB

逐梦々少年·2023-07-26 16:48

解析：分布式存储技术教你如何存储和维护NFT元数据？

不可替代的NFT是加密领域里最激动人心的最新成果之一。对于那些不知道这些宝石的人来说，NFT就像是数字收藏品，每个都以自己的方式独一无二的存在着，并与特定用户相关联。除了所有权之外，让NFT有价值的还有它的元数据。如果您长时间上网，您可能会认为该术语是存在于特定数字签名或网站的数据。NFT元数据与此类似，但又有一些显著差异。什么是NFT元数据？NFT元数据将NFT定义为一个有关数字资产详细信息的对

盘古开源·2023-07-26 14:59

redis（六）Redis Cluster集群原理

一、数据分布一、数据分布理论分布式存储数据需要将整个数据集按照分区规则映射到多个节点上，每个节点负责一部分数据。这里我们需要重点注意数据分区规则，常见的分区规则有hash分区、顺序分区。

先熬半个月·2023-07-26 10:30

Alluxio技术分析

Alluxio技术分析Alluxio:AVirtualDistributedFileSystemAlluxio主要解决的基于磁盘的分布式存储层性能低下的问题，通过alluxio提供的分布式内存来加速数据分析

丿灬逐风·2023-07-26 06:34

使用 4EVERLAND IPFS 固定服务 API

您可能已经知道星际文件系统或IPFS是一个分布式存储网络，来自世界各地的计算机形成节点来共享数据。为了充分受益于在IPFS网络上存储数据，固定文件和文件夹以确保它们在网络上的长期存储至关重要。

4EVERLAND中文社区·2023-07-25 22:59

Raft 思想在架构中实践

Raft诞生背景：分布式存储系统通常通过维护多个副本来进行容错，提高系统的可用性。要实现此目标，就必须要解决分布式存储系统的最核心问题：维护多个副本的一致性。

菠萝-琪琪·2023-07-25 21:44

如何模拟实现分布式文件存储

理论上可以无线多台机器存储也就意味迈入了分布式存储如何解决海量数据文件查询便捷问题当文件被分布式存储在多台机器之后，后续获取文件的时候如何能快速找到文件位于哪台机器上呢。可以借助元数据记录来解决

fiveym·2023-07-25 14:29

Hbase基本原理剖析

基本原理数据存储使用HBase来承接，HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统

Hello.Reader·2023-07-25 13:35

HBase教程_编程入门自学教程_菜鸟教程-免费教程分享

教程简介HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

菜鸟一记·2023-07-25 10:01

ceph中RADOS原理是什么，具体实现步骤是什么

RADOS（ReliableAutonomousDistributedObjectStore）是Ceph分布式存储系统的基础，是一种可靠的、自主分布的对象存储系统。

d1306937299·2023-07-24 22:29

云计算基本概念

云计算基本概念引言云计算的概念IaaS主要组件PaaS主要组件SaaS主要组件云计算的典型特征云计算数据中心云计算应用领域引言前面一篇《大数据BigData基本概念》介绍了大数据基本概念，我们知道大数据两大核心问题就是分布式存储和分布式处理

wumingxiaoyao·2023-07-24 21:38

腾讯宣讲会

node.js、reactnative、electronAlloyTeam:合并上报学习建议：大学——广度；工作——深度；瓶颈后——广度————————————————————————————————TEG：分布式存储

日瑕·2023-07-24 19:14

Dockerfile、docker-compose、docker网络以及Portainer安装

文章目录1、安装mysql主从复制2、安装redis集群-分布式存储案例2.1cluster(集群)模式-docker版哈希取余分区一致性哈希算法分区哈希槽分区2.23主3从redis集群配置2.3主从容错切换迁移数据读写存储与容错切换迁移

二拾三·2023-07-24 14:06

一个小龙盘等于300个u盘

除此之外，小龙盘还采用了区块链技术和分布式存储技术，确保数据的安全性和可靠性，避免数据被盗取和损坏的情况。用户可以在小龙盘中存储和管理

资讯前沿·2023-07-24 08:05

Flink Connector 深度解析

主要研究领域包括：分布式计算、调度系统、分布式存储等系统。本文主要分享Flinkconnector相关内容，分为以下三个部分的内容：第一部分会首先介绍一下FlinkConnector有哪些。

zhisheng_blog·2023-07-24 00:53

2022-11-14

Elasticsearch是一个可实时的分布式存储、搜索、分析大量数据的引擎Index：Elasticsearch的Index相当于数据库的TableType：这个在新的Elasticsearc

liwsh·2023-07-23 23:04

Storm入门,看这篇就够了

Ps:·Hadoop分布式存储和分布式计算两个难题全部解决了。但是缺点就是不能实时处理数据，Storm的作者就像写一个这

留歌_36·2023-07-23 14:29

HDFS分布式存储系统简述

HDFS分布式存储系统HDFS存储架构文件存储系统原理文件存储在磁盘上，磁盘读取数据靠的是机械运动。

这里是YH·2023-07-23 14:43

分布式系统开发实战：分布式存储，分布式存储常用技术

分布式存储互联网每天产生数以亿计的数据，这些数据如何能够被正确地存储、解析、利用，是摆在每个数据公司面前的挑战。

写代码的珏秒秒·2023-07-23 08:14

【#2-籍雨亭】Ulord的共识算法

籍雨亭·2023-07-23 05:37

HBase分布式数据库（NoSQL）

ApacheHBase介绍HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

小中.·2023-07-23 04:48

IPSE星际搜索引擎

的搜索引擎https://ipse.io已关注IPSE黄皮书：下一代价值互联网的流量入口载入中15分钟作者：Silver，区块链开发工程师，Spark架构师，IPSE首席架构师背景时间到了2019年，分布式存储逐渐进入了落地阶段

慎独戒欺·2023-07-23 02:27

Hive和Spark

1.Hive简介hive的定位是数据仓库，其提供了通过sql读写和管理分布式存储中的大规模的数据，即hive即负责数据的存储和管理（其实依赖的是底层的hdfs文件系统或s3等对象存储系统），也负责通过sql

万里长江横渡·2023-07-22 14:22

Ceph对象存储运维的惊魂72小时

转自：http://stor.51cto.com/art/201803/567763.htmCeph作为一款开源的分布式存储软件，可以利用X86服务器自身的本地存储资源，创建一个或多个存储资源池，并基于资源池对用户提供统一存储服务

Joncc·2023-07-22 06:41

云栖干货回顾 |“顶级玩家”集结！分布式数据库专场精华解读

多位阿里云分布式数据库领域核心专家以及业界专家进行了专题演讲，内容涵盖分布式**POLARDB（DRDS）、AnalyticDB、OceanBase**多款云上核心分布式数据库产品，涉猎分布式SQL引擎、分布式存储引擎

阿里云数据库·2023-07-22 04:17

推荐频道

GridFS分布式存储