分布式存储第10页

大数据入门：Hadoop HDFS存储原理

HDFS即Hadoopdistributedfilesystem（hadoop分布式文件系统），在Hadoop当中负责分布式存储阶段的任务，它是一个分布式的文件

成都加米谷大数据·2023-11-05 16:35

Hive知识点总结

Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。

有风微冷·2023-11-05 16:08

搭建ES集群

目录前言搭建ES集群集群状态监控分片备份节点角色脑裂问题分布式存储分布式查询故障转移前言单机的ES做数据存储必然会面临两个问题：海量数据存储问题、单机故障问题海量数据存储问题：将索引库从逻辑上拆分为N个分片

zmbwcx·2023-11-05 13:55

dd简单使用-存储视角

在做文件操作，除了iflag可以多指定一些打开参数之外，没有任何魔法https://github.com/coreutils/coreutils/blob/master/src/dd.c常用说明从存储/分布式存储角度

Skyego·2023-11-05 03:38

超融合和服务器关系_什么是超融合服务器基础架构，与传统云架构有什么区别?...

超融合基础架构(HyperconvergedInfrastructure)是一种软件定义的IT基础架构，包括虚拟化计算(hypervisor)，虚拟化存储(一般为分布式存储)、虚拟化网络(软件定义网络)

weixin_39641450·2023-11-03 19:35

ETCD入门实战:

etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现，号称云原生分布式存储的基石官网地址：https://etcd.io//etc是linux操作系统的配置存储目录，ddistributed

宏势·2023-11-03 14:25

分段函数怎么用神经网络进行拟合_BP神经网络可以用于拟合函数吗

这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功

weixin_39844525·2023-11-03 11:21

seaweedfs部署文档

1.seaweedfs的概述seaweedfs是一个非常优秀的由golang开发的分布式存储开源项目。它是用来存储文件的系统，并且与使用的语言无关，使得文件存储在云端变得非常方便。

学有境·2023-11-03 08:05

IPFS：下一代分布式文件系统

在某些方面，IPFS类似于web,但web是中心化的，而IPFS是一个单一的Bittorrent群集，用git仓库分布式存储。

壹五叁说IPFS·2023-11-03 05:17

大型分布式存储方案MinIO介绍，看完你就懂了

目录1、MinIO是什么？2、MinIO有哪些优势？2.1开发文档全面2.2高性能2.3支持全面2.4AWSS3标准兼容2.5安装部署非常简单2.6开放全部源代码+企业级支持2.7容器化集成方便2.8管理界面的支持3、MinIO安装3.1Linux下安装MinIO3.2Widows下安装MinIO1、MinIO是什么？官方解释：MinIO是一个基于ApacheLicensev2.0开源协议的对象存

IT技术分享社区·2023-11-02 21:50

Linux开源存储全栈详解:从Ceph到容器存储

内容简介本书致力于帮助读者形成有关Linux开源存储世界的细致的拓扑，从存储硬件、Linux存储堆栈、存储加速、存储安全、存储管理、分布式存储、云存储等各个角度与层次展开讨论，同时对处于主导地位的、较为流行的开源存储项目进行阐述

DPDK技术员·2023-11-02 21:19

分布式系列之开源分布式存储技术分析

分布式存储在云计算及容器技术中将广泛使用，本文仅简单介绍了下几个主流的开源分布式技术，整个分布式存储系列相当复杂，文中介绍略微粗浅且当引子。

solihawk·2023-11-02 21:16

Linux开源存储方案系统介绍

文章目录开源云计算数据存储平台怎么理解云计算存储管理和软件定义存储软件定义存储开源项目OpenSDSLibvirtStorageManagement：OHSM（OnlineHierarchicalStorageManager）开源分布式存储什么是分布式存储元数据服务器数据服务器客户端常见的开源分布式存储软件

王哞哞哞哞·2023-11-02 21:41

6.Paper小结——《A Privacy-Preserving and Verifiable FederatedLearning Scheme》

然而，这个过程总是伴随着对分布式存储和隐私的限制。联邦学习通过只与服务器共享梯度而不透露训练集来解决这一挑战。不幸的是，现有的研究表明，服务器可以

DK_521·2023-11-02 19:52

mysql对象存储区别_块存储、文件存储、对象存储这三者的本质差别是什么？

首先要说明一下的是，这三个概念都是分布式存储中的概念，由不同的网络存储协议实现。不过“网络”和“存储”的结合本身会对解释这三个概念的本质差异带来不便，下面的解释中我会先解释存储本身，之后再

weixin_39689870·2023-11-02 12:36

什么是块存储、文件存储和对象存储

首先要说明一下的是，这三个概念都是分布式存储中的概念，由不同的网络存储协议实现。不过“网络”

Forward627·2023-11-02 12:58

Hadoop HDFS(分布式文件系统)

一、HadoopHDFS(分布式文件系统)为什么要分布式存储数据假设一个文件有100tb，我们就把文件划分为多个部分，放入到多个服务器靠数量取胜，多台服务器组合，才能Hold住数据量太大，单机存储能力有上限

syst1m'·2023-11-02 10:06

SeaweedFS介绍安装集群部署总结

SeaweedFS是一个非常优秀的由go语言开发的分布式存储开源项目。它是用来存储文件的系统，并且与使用的语言无关，使得文件储存变得非常方便，它有两个优势:存储数十亿的文件!查看文件速度快!

五霸哥·2023-11-02 09:31

Mysql与SeaweedFS数据不同步问题产生原因及解决办法

这篇文章将专注于Mysql和SeaweedFS（一种快速、简单和高效的分布式存储系统）之间数据不

Dontla·2023-11-02 09:00

【二】分布式训练---参数服务器训练（飞桨paddle1.8）

1.参数服务器训练简介参数服务器训练是分布式训练领域普遍采用的编程架构，主要解决以下两类问题：模型参数过大：单机内存空间不足，需要采用分布式存储。

汀、人工智能·2023-11-02 08:25

大模型需要哪类服务器

分布式存储服务器：分布式存储服务器可以提供大规模的存储空间，适合存储大规模的数据。高性能计算服务器：高性能计算服务器可以提供高速的计算能力，适合处

泰海科技志胜·2023-11-02 07:08

大数据复习（day03）

HDFS特点总结HDFS特点1、分布式存储架构，支持海量数据存储。(GB、TB、PB级别数据)2、高容错性，数据块拥有多个副本（副本冗余机制)。副本丢失后，自动恢复。

快乐咸鱼Y·2023-11-02 04:05

Vsan数据恢复—Vsan存储断电导致虚拟机无法启动的数据恢复案例

Vsan分布式存储故障&检测：异常断电导致一台vsan存储设备上层虚拟机无法启动。

北亚数据恢复·2023-11-01 20:53

freeCodeCamp 旅途21 - MongoDB 和 Mongoose

这种存储结构有很多好处：可扩展：一般来讲，非关系型数据库可以分布式存储在不同的操作系统间。这意味着它可以以低成本方便的提高性能。灵活：新的数据集和属性可以直接添加进文档而无需更改表。可

HJSD·2023-11-01 16:07

分布式系统概述

一个系统走向分布式的最常见的理由：scalability.1.scalability两种：datascalability:单台机器不足以经济的承载数据时，需要将数据进行分布式存储。

HaigLee·2023-11-01 05:39

一文参透分布式存储系统Ceph的架构设计、集群搭建（手把手）

1.Ceph概述1.1背景Ceph是一个去中心化的分布式存储系统，提供较好的性能、可靠性和可扩展性。

博学谷狂野架构师·2023-10-31 22:19

文档存储Elasticsearch系列--1 ES介绍

前言：Elasticsearch也是使用Java编写的，它的内部使用Lucene做索引与搜索，支持结构化文档数据的分布式存储，并提供准实时的查询，全文检索，数据聚合；1为什么要使用ES:ES本身存在哪些特性使得我们放弃传统关系型数据库

拽着尾巴的鱼儿·2023-10-31 09:50

分布式存储系统Ceph应用组件介绍

1、无中心架构分布式存储CephCeph是一套开源的分布式存储系统。具有可靠性高，性能优良，可伸缩，与HDFS不同的地方在于，该架构中没有中心节点。

exitgogo·2023-10-31 06:30

Elasticsearch（一）---介绍

官网地址：Elasticsearch平台—大规模查找实时答案|ElasticES与solr的对比：接口类似webservice的接口solrREST风格的访问接口es分布式存储solrCloudsolr4

30岁老阿姨·2023-10-31 06:20

迁移到MySQL的业务架构演进实战

5TqKKRfdC5CGiiFlfb_LEA随着业务的快速发展，做到未雨绸缪很重要，在提升关系型数据库的扩展性和高可用性方面需要提前布局，MySQL方案虽然不是万金油，却是架构演进中的一种典型方案，也是建设MySQL分布式存储平台一个很好的切入点

Java并发·2023-10-30 21:48

HDFS（一）HDFS基本介绍

是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。HDFS使用Master和S

红叶゜·2023-10-30 07:27

一文教你玩转 Apache Doris 分区分桶新功能｜新版本揭秘

过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展

hf200012·2023-10-30 06:58

IPFS是什么？

IPFS是什么IPFS的中文名是星际文件系统，IPFS本质上是一种内容可寻址、版本化、点对点超媒体的分布式存储、传输协议，目标是补充甚至取代过去20年里使用的超文本媒体传输协议（HTTP），希望构建更快

区块链Wakanda·2023-10-29 19:06

QKFile：引发全新的区块链热潮，挖掘千亿美元的分布式存储关键点是什么？

第二：基于夸克区块链运行的分布式存储网络QKFile，将颠覆阿里云、亚马逊这样的中心化云存储和CDN的产业市

少年已不年少201901·2023-10-29 12:56

分布式存储ceph rbd 常用操作

创建一个新brb的存储池（有多个类型存储或者需要按区域分组时，注意参考建立osd分组CSDN）：###创建存储池，指定pg和pgp数量，pg或pgp数量可后期根据需求调整：#cephosdpoolcreate{pool}{pg_num}{pgp_num}cephosdpoolcreatetestpool6464###作为rbd存储池使用：cephosdpoolapplicationenablete

小果运维·2023-10-29 11:03

k8s高可用集群搭建部署

简介k8s普通搭建出来只是单master节点，如果该节点挂掉，则整个集群都无法调度，K8s高可用集群是用多个master节点加负载均衡节点组成，外层再接高可用分布式存储集群例如ceph集群，实现计算能力

Anime777·2023-10-29 08:43

基于Cassandra的分布式存储数据一致性算法研究

基于Cassandra的分布式存储数据一致性算法研究技术报告目录基于Cassandra的分布式存储数据一致性算法研究技术报告一、分布式数据一致性概述1.1CAP定理1.2BASE理论1.3分布式数据服务中的不同一致性级别二

NCU_CS_丶Xin·2023-10-29 05:04

带有 Vagrant 和 Virtualbox 的 Elasticsearch 集群

模拟分布式存储和计算环境的一种简单方法是使用Virtualbox作为VM（“虚拟机”）的提供者，使用Vagrant作为前端脚本引擎来配置、启动和停止这些VM。

wouderw·2023-10-29 03:52

哈希算法：哈希算法在分布式系统中有哪些应用？

哈希算法除了上篇的四个应用（安全加密、数据校验、唯一标识、散列函数），还有三种应用：负载均衡、数据分片、分布式存储。这三个应用都跟分布式系统有关。哈希算法是如何解决这些分布式问题的？

贾欣晓·2023-10-29 02:01

软考系统架构之案例篇(Redis相关概念)

Elaine猿·2023-10-28 13:34

[大三上]区块链和分布式计算

分布式计算的典型应用包括分布式数据库、分布式存储系统、云计算等。分布式计算的优点

卓律涤·2023-10-27 12:14

分布式日志和链路追踪

分布式日志实现思路分布式日志框架服务的实现思路基本是一致的，如下：日志收集器：微服务中引入日志客户端，将记录的日志发送到日志服务端的收集器，然后以某种方式存储数据存储：一般使用ElasticSearch分布式存储

秃狼·2023-10-27 08:35

严哥说币：比特币以太坊行情分析：多次冲高回落蓄力反弹,这样的捡钱行情不常有

但好在作为一个年轻的赛道，区块链行业依然充满生机，热点频出：比特币减半、去中心化金融、分布式存储、波卡生态、以太坊2.0，板块的轮动仿佛行业的脉动，清晰而有力。

老严谋士社区·2023-10-27 03:29

ASP.NET Core 中Session的分布式存储

TL;DR在ASP.NETCore中使用分布式缓存存储会话时，仅仅将Session进行分布式存储还不够，由于ASP.NETCore的数据安全保护机制，还需要将DataProtection所使用的加密密

FatTigerWang·2023-10-27 01:05

区块链技术的应用与前景展望

一、区块链技术的基本原理区块链技术是一种去中心化的分布式账本技术，其核心原理包括分布式存储、共识机制和加密算法。每个参与者都可以通过网络连接到区块链网络，并在其中创建、验证和记录交易。

huhansome·2023-10-26 20:31

【导读】Java安全编码标准—第2章输入验证和数据净化

随着互联网的广泛使用，web应用的数量呈爆炸式的增长，而这些应用的资源和数据呈分布式存储于目录中。通常不同的

断翅绝尘·2023-10-26 15:03

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）

分布式存储介绍分布式计算介绍移动数据：数据-

Huathy-雨落江南，浮生若梦·2023-10-26 07:02

Hadoop3.0大数据处理学习2（HDFS）

Hadoop分布式存储系统一种允许文件通过网络在多台主机上分享的文件系统，可以让多机器上的用户分享文件和存储空间。

Huathy-雨落江南，浮生若梦·2023-10-26 07:25

centos7安装minio

MINIO官网地址：MinIO|高性能分布式存储，私有云存储可以在官网下在包1.安装软件最好设置在/usr/local路径下cd/usr/local mkdirminio2.在新创建的minio路径下执行

会飞的麦兜63·2023-10-25 19:34

MinIO分布式存储服务

一、前言最近项目中使用到了MinIO的分布式存储系统，记录一下Minio服务的相关概念以及使用方法。

大头程序员不头大·2023-10-25 18:56

推荐频道

分布式存储