GridFS分布式存储第4页

OKEx徐坤：Filecoin的机遇与风险

近期IPFS/Filecoin成为行业的热点，我也受邀在Odaily星球日报举办的「星际崛起——IPFS技术与分布式存储生态云峰会」进行了主题分享，内容涵盖了去中心化存储市场趋势、IPFS/Filecoin

徐坤Alysa·2024-01-14 04:49

11张手绘图：搞定分布式系统容错架构

到底啥是分布式存储？那啥又是分布式存储系统呢？天哪！某台机器宕机了咋办？Master节点如何感知到数据副本消失？如何复制副本保持足够副本数量删除多余副本又该怎么做呢？

石杉的架构笔记·2024-01-13 10:32

区块链是如何存数据的？

我们都知道，区块链技术是一种去中心化的分布式存储方式，那么区块链如何存储和记录数据呢？————————个人技术公众号：解决方案工程师欢迎同领域的朋友关注、相互交流。

公众号：链上物联网·2024-01-13 07:58

C++——STL标准模板库——容器详解——list

list是一种分布式存储的线性表，每个节点分为数据域和指针域，其中指针域中包含一个指向前驱节点的指针和一个指向后续节点的指针，基本模型如下：（二）特性1、双向链表：每个元素都有一个前驱和一个后继，这种结构允许在链表的任何位置实现快速的插入和删除而不影响其他元素

诗酒伴年华·2024-01-13 05:23

基于鲲鹏云服务迁移技术和实践（鲲鹏生态）

鲲鹏计算产业生态产业链芯片能力积累到芯片技术创新芯片架构创新华为云鲲鹏云服务典型应用场景：大数据：分布式存储：把一个文件分开放，不同文件，不同硬盘，不同PC数据库：分布

努力的小陈、·2024-01-12 20:46

这次在搞不定 Redis 集群搭建！你来找我~~

Redis集群简介下载&安装Redis搭建Redis集群手动方式搭建自动方式搭Redis集群简介RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。

码农开花·2024-01-12 20:42

NVMe-oF 1.1规范：多路径、非对称命名空间和NVMe/TCP

提到NVMeoverFabric，我就会想到它的几种应用场景：1、存储阵列到主机的网络连接（替代FC、iSCSI等）；2、服务器、本地NVMe存储解耦（跨机箱/JBOF），SSD存储资源池化共享；3、分布式存储

大隐隐于野·2024-01-12 18:07

Kafka在车联网中应用浅谈

数据分片与分布式存储：Kafka可以将车辆产生的数据分片存储，实现分布式存储和数据备份。这种设计可以有效地应对数据量大的情况，提高数据存储和处理的效率。消息队列与

MarkHD·2024-01-12 14:06

联手英特尔，释放星飞分布式全闪存储潜能

近日，英特尔官网发布了与XSKY星辰天合联手打造的解决方案，即XSKY的新一代全闪分布式存储系统XINFINI，该存储系统采用英特尔QAT加速数据压缩/解压缩，从而大幅度提升存储系统性能。

XSKY星辰天合·2024-01-12 09:15

布隆过滤器应用场景优势不足

分布式系统：在分布式系统中，可以用于快速判断某个数据在分布式存储中的存在与否，减少网络传输和存储访问。爬虫系统：用于判断一个URL是否已经被爬取

KevinAha·2024-01-11 22:36

ELK 企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。

峡谷在逃戚风·2024-01-11 06:59

glusterFS

它将自动故障转移作为主要功能.分布式存储系统.集群式NAS存储.无集中式元数据服务,采用Hash算法定位.一致性哈希DHT.Hash值落在哪个范围内,数据就存储在哪里.弹性卷管理.自动做了raid.2.

MoonSoin·2024-01-11 04:42

【转载】万亿级数据洪峰下的分布式消息引擎

为了应对这些不可控的洪峰数据，中间件团队通过大量研究和实践，推出了低延迟高可用解决方案，在分布式存储领域具有一定的普适性。在此基

ongahong·2024-01-10 14:06

Redis面试题7

减少网络往返次数；解决单线程模型的方法有：使用多实例部署，提高并发量和吞吐量；使用线程池机制，在单线程的基础上并发地工作；解决内存限制的方法有：使用分片技术，将数据分散到不同的服务器上；使用Redis集群，通过分布式存储和

CrazyMax_zh·2024-01-10 09:19

笔记：分布式大数据技术原理（一）Hadoop 框架

Hadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MapReduce

WeeeicheN·2024-01-09 22:17

大数据开发：Hive基础知识点介绍

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。Hive的特点Hive最大的特

加米谷大数据张老师·2024-01-09 13:52

【Vsan数据恢复】异常关机导致Vsan分布式存储虚拟机组件异常的数据恢复案例

vsan分布式存储故障：一套vsan分布式存储架构有数台服务器节点，该vsan分布式存储架构配置了固态硬盘和机械硬盘，固态硬盘作为缓存盘使用，机械硬盘作为容量盘使用。

北亚数据恢复·2024-01-09 12:08

挑战存储“不可能之三角”：用自研技术引领存储性能突破

虽然分布式存储在大众认知内具有高性价比和高扩展性，却未被赋予高性能的标签。可以说，分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

科技云报道·2024-01-09 08:22

大数据之PySpark的RDD介绍

一、RDD简介RDD称为弹性分布式数据集，是Spark中最基本的数据抽象，其为一个不可变、可分区、元素可并行计算的集合；RDD中的数据是分布式存储，可用于并行计算，同时，

敲键盘的杰克·2024-01-09 07:11

Spark Core------算子介绍

Resilient弹性：RDD的数据可以存储在内存或者磁盘当中，RDD的数据可以分区Distributed分布式：RDD的数据可以分布式存储，可以进行并行计算Dataset数据集：一个用于存放数据

小希 fighting·2024-01-09 07:01

隐私保护在Web3.0中的重要性

敏感的用户数据可以从任何用户平台安全地共享到云端或分布式存储，并通过代理重加密或属性加密自动授予对该数据的访问。在这个过程中，有必要确保数据的可用性。

Aix17·2024-01-08 13:39

Spark Core基础知识

中最基本的数据抽象,代表一个不可变,可分区,里面的元素可并行计算的集合.Resilient弹性:RDD的数据可以存储在内存或者磁盘当中,RDD的数据可以分区Distributed分布式:RDD的数据可以分布式存储

MSJ3917·2024-01-08 07:52

了解Ceph 分布式存储

内容概括1、存储发展史随着OpenStack的快速发展，给Caph的发展注入了强心剂，越来越多的人使用Ceph作为OpenStack的底层共享存储，Ceph在中国的社区也蓬勃发展起来。近两年OpenStack火爆度不及当年，借助于云原生尤其是Kubernetes技术的发展，作为底层存储的基石，Ceph再次发力，为Kubernets有状态化业务提供了存储机制的实现。企业中使用存储按照其功能，使用场景

小老虎追玉兔·2024-01-08 04:24

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri

無飞·2024-01-07 12:21

高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例

分布式存储：MinIO可以以分布式方式部署，通过纠删码（Erasu

小果运维·2024-01-07 12:18

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS

杀神lwz·2024-01-07 11:19

XSKY SDS 产品率先获得 OceanBase V4 新版本认证

据悉，这是首个基于OceanBaseV4认证的分布式存储产品联合解决方案。联合解决方案性能与成本兼得

XSKY星辰天合·2024-01-07 10:01

通用异构参数服务器技术

数据管理需要考虑数据的分布式存储

道亦无名·2024-01-07 02:32

分布式存储与传统存储对比分析

分布式存储的定义分布式存储系统，是将数据分散存储在多台独立的X86服务器上，通过通用的存储协议对外提供FC、ISCSI、RBD、NAS、S3等存储接口，每个存储服务器节点既能够进行数据存放和性能加速，也同时提供数据控制和存储接口对接

LD_ee65·2024-01-07 01:46

Ceph分布式存储

一.Ceph分布式存储1.Ceph概念（1）Ceph是一种开源的分布式存储系统，2006年出现，是私有云事实上的标准-OpenStack的默认存储后端。用于在整个集群中存储海量数据。

z怀夕·2024-01-06 08:46

BigData~05：HBase

https://www.cnblogs.com/ityouknow/p/7344001.html一、简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer

帅可儿妞·2024-01-06 07:29

Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来

七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个

言则yanze·2024-01-05 22:43

分布式存储题库

分布式存储题库分布式存储系统要求实现的特性有哪些？答：低成本、高性能、可扩展、易用。分布式存储系统设计的技术性挑战包括那些。答：数据分布、一致性、容错、负载均衡、并发控制、易用性、压缩/解压缩。

@Yauo·2024-01-04 19:18

区块链的一股清流-Ulord

Ulord的特色Ulord是一条价值公链，利用分布式存储、共识机制、多侧链技术、智能合约、加密技术等打造了一个数字资源交互平台，为开发者提供了友好的API接口、完整的p2p数据服务、更多的智能模块，开发者可以在

回南少年·2024-01-04 15:30

区块链端对端交易性能分析

区块链端到端交易性能分析区块链从微观上来说就是一个不可篡改的可溯源系统，从宏观上来说具有三个特点:共识机制(这个被很多人所研究，包括改进，例如POW、POS、BPFT等等)、分布式存储(每个节点对于链信息的存储

Beta_King·2024-01-04 13:09

区块链媒体宣发：连接未来的数字传播纽带-大舍传媒

区块链媒体宣发通过智能合约和分布式存储等特性，为信息传播打开了全新的局面。区块链媒体宣发：数字时代的新引擎区块链媒体宣发在信息传播

大舍传媒·2024-01-04 12:38

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。

Yobhel·2024-01-04 08:28

电商数仓可视化1--数据导入

：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地分布式存储介质中如

bigdata从入门到放弃·2024-01-03 18:53

大数据StarRocks(一) StarRocks概述

1StarRocks介绍StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果

运维仙人·2024-01-03 06:24

大数据要学习什么知识？大数据学习的内容有哪些？

（资料在尾部）大数据技术体系太庞杂了，基础技术覆盖数据采集、数据预处理、分布式存储、NOSQL数据库、多模式计算（批处理、在线处理、实时流处理、内存处理）、多模态计算（图像、文本、视频、音频）、数据仓库

Java程序员YY·2024-01-03 00:19

Python的发展趋势

你可能在之前听说过很多编程语言，比如难学的C语言（语法和实现难度），非常流行的JAVA语言（尤其是现在分布式存储和服务），非常有争议的PHP（常见WordPress大多网站），前端HTML、JavaScripts

会python的小孩·2024-01-03 00:01

Hbase介绍以及Hive优势

因为HBase基于Hadoop的HDFS完成分布式存储，以及MapReduce完成分布式并行计算，所以它的一些特点与Hadoop相同，依靠横向扩展，通过不断增加性价比高的商业服务器来增加计算和存储能力。

毛毛虫同学·2024-01-02 14:38

【ceph】Ceph之PG状态详解--研读笔记

原文：分布式存储Ceph之PG状态详解-简书Ceph中一些PG相关的状态说明和基本概念说明、故障模拟_pansaky的博客-CSDN博客1.PG介绍继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享

bandaoyu·2024-01-02 06:31

【2023】hadoop基础介绍

分布式计算YARN：资源管控调度YARN架构提交任务到**YARN中运行**Hadoop组成hadoop安装教程可以看我这篇文章===>hadoop通过docker安装HDFS组件：是Hadoop内的分布式存储组件

方渐鸿·2024-01-02 03:26

云宏大讲坛 | Ceph分布式存储高性能设计

随着数据量的不断增长，如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求，业界迫切需要一种新的方法来管理现今的数据，为用户控制访问时间，缩减管理成本。软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络，云计算、大数据技术的应用使得数据呈指数增长，每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案，如可伸缩扩展的软件定义存

chennbwin·2024-01-02 01:48

docker小白第九天

单机存储是不可能的，需要分布式存储，如果使用redis又该如何部署。哈希取余分区优点：简单粗暴，直接有效，只需要预估好数据，规划好节点，例如3台、8台、10台，就能保证一段时间的数据支撑。

疯子的梦想＠·2024-01-01 16:36

【hcie-cloud】【15】华为云Stack应急预案

文章目录前言应急预案介绍应急预案诉求用户挑战业务上云阻碍大应急保障缺乏规范应急时效性难以保障运维体系存在盲点应急预案的必要性应急预案故障场景总览基础云服务应用平台数据库大数据平台AI服务应急预案故障场景介绍故障场景案例(1)故障场景案例(2)IaaS层应急预案计算节点故障应急预案批量虚拟机无法访问应急方案计算域平台故障场景应急预案存储故障场景介绍分布式存储

҉人间无事人·2024-01-01 11:57

PacificA 论文笔记（一）

然而实现一个实际项目中的分布式存储系统不仅仅是应用一个已知的复制协议。理论上的复制协议和实际应用的复制机制还是有很大的不同的。

余小言·2023-12-31 18:51

Kubernetes集群部署Rook Ceph实现文件存储，对象存储，块存储

Ceph是一个高度可扩展的分布式存储系统，提供了对象存储、块存储和文件系统的功能，广泛应用于提供大规模存储解决方案。

大風起雲飛揚·2023-12-31 17:08

推荐频道

GridFS分布式存储