GridFS分布式存储

KVM+GFS分布式存储系统构建KVM高可用

一、案列分析1.1案列概述本章案例主要使用之前章节所学的KVM及GlusterFs技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，Glu
henan程序媛·2024-09-16 00:17

Hadoop

它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。
傲雪凌霜，松柏长青·2024-09-16 00:16

Web3入门指南：从基础概念到实际应用

与以往依赖中心化服务器和大公司控制的数据模式不同，Web3通过区块链技术实现了数据的分布式存储和处理。这一去中心化
dingzd95·2024-09-14 23:01

HBase介绍

概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。
mingyu1016·2024-09-14 21:47

KVM+GFS分布式存储系统构建 KVM 高可用

一、案例分析本案例主要使用KVM及GlusterFS技术,结合起来从而实现KVM高可用。利用GlusterFs分布式复制卷，对KVM虚拟机文件进行分布存储和冗余。分布式复制卷主要用于需要冗余的情况下把一个文件存放在两个或两个以上的节点,当其中一个节点数据丢失或者损坏之后，KVM仍然能够通过卷组找到另一节点上存储的虚拟机文件，以保证虚拟机正常运行。当节点修复之后，GlusterFS会自动同步同一组卷
wkysdhr·2024-09-12 00:53

ELK架构介绍

Elasticsearch提供分布式存储和搜索能力；Logstash负责数据收集和处理，而Kibana则提供数据可视化和分析界面。
星河漫漫l·2024-09-09 11:40

Hbase、hive以及ClickHouse的介绍和区别？

HBase的设计灵感来源于Google的Bigtable论文，它通过提供类似于Bigtable的能力，在Hadoop之上构建了一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
damokelisijian866·2024-09-08 23:43

java 实现前后端分离_详解前后端分离之Java后端

那么问题来了，用户很多时，服务器压力很大，如果采用分布式存储session，又可能会出现不同步问题，那么前后端分离就很好的
bfecoder·2024-09-08 13:08

先进制造业数字化转型：典型场景存储需求及实践解析

本文将从先进制造企业数字化转型中典型场景的存储需求出发，结合XSKY分布式存储的实际案例，看分布式存储如何帮助企业进行存储转型，满足相关的数据使用需求。01 本地硬盘存储方案的
XSKY星辰天合·2024-09-07 16:08

【初出江湖】分布式之什么是分布式存储？

目录标题分布式存储分布式存储系统特点分布式存储原理分布式存储的应用场景分布式存储和集中式存储的区别分布式存储分布式存储是一种将数据分散存储在多个节点上的存储方式。
无休居士·2024-09-03 15:05

缓存读写策略 Cache Aside Pattern，开发必备

我们在前面讲到了当我们业务面临大量写并发的时候，将数据库开发成分布式存储系统，然后又介绍了NoSql数据库与关系型数据库互相配合，以用来更好的服务与我们的业务发展。
架构师修炼·2024-09-02 12:20

经验笔记：Hadoop

Hadoop经验笔记一、Hadoop概述Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。其设计目的是为了在商用硬件上运行，具备高容错性和可扩展性。
漆黑的莫莫·2024-09-02 03:54

京存分布式存储强势助力自动驾驶行业！

随着自动驾驶技术的快速发展，数据存储已成为该领域的关键技术之一。自动驾驶系统涉及的数据类型繁多，包括车辆状态信息、环境感知数据、高精度地图数据、道路基础设施数据等，其规模庞大，需要高效、稳定的数据存储解决方案来满足不断增长的数据存储需求。在需求方面，自动驾驶行业要求存储系统具备高性能、高可靠性和高可用性，以支持实时数据处理和快速决策。例如，自动驾驶汽车需要实时访问大量的传感器数据、地图数据和其他相
京存高性能存储·2024-08-31 14:32

极客天成签署 CCLA，携手openEuler社区共拓信创AI新天地

极客天成以高通量分布式集群存储为先锋，围绕软件定义、智能化、安全可靠，全链RDMA构建了完全自主可控的分布式存储产品线和解决方案，主要解决用户海量数据下的高性能低时延数据读写难题，可为用户的数据中心提供
极客天成ScaleFlash·2024-08-31 14:32

中标 | 极客天成分布式存储软件成功中标华泰证券并行文件系统软件项目

2023年9月21日，北京极客天成科技有限公司分布式存储软件V3.0通过代理商成功中标华泰证券并行文件系统软件项目。
极客天成ScaleFlash·2024-08-31 14:31

如何在Web3.0应用中实现数据的安全存储？

在Web3.0应用中，可以通过以下几种方式实现数据的安全存储：一、分布式存储技术1.IPFS（InterPlanetaryFileSystem，星际文件系统）：-IPFS是一种去中心化的分布式文件存储系统
alankuo·2024-08-31 09:31

单机 安装 ELK 日志分析系统

Elasticsearch是一个基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日
TheFlsah·2024-08-30 21:40

Springboot + MongoDB 存储文件：上传文件及附属信息，文件保存到GridFS数据库，使用流式传输获取文件 可存储geojson、图片、视频等大型文件

MongoDB存储大型geojson数据因为部分文件需要随系统保存，直接存储本地路径会导致系统迁移、Docker运行等出现问题，内网系统不能使用外部OSS，内部单独搭建OSS也难以维护，于是采用MongoDB的GridFS
ZhongruiRao·2024-08-30 15:59

Springboot使用Mongo数据库实现文件的上传下载预览等服务接口

MongoDBGridFS简介MongoDBGridFS是一个用于存储和检索大型文件的规范，它允许在MongoDB数据库中存储超过16MB的文件，如图片、音频、视频等。
泰山AI·2024-08-30 15:57

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。
杰哥在此·2024-08-29 15:51

学习笔记六：ceph介绍以及初始化配置

k8s对接cephceph是一种开源的分布式的存储系统，包含以下几种存储类型：块存储（rbd）文件系统cephfs对象存储分布式存储的优点：Ceph核心组件介绍安装Ceph集群初始化配置Ceph安装源安装基础软件包安装
风车带走过往·2024-08-27 23:49

秋招Java后端开发——非关系型数据库篇（Redis）

分布式架构天生支持分布式存储和计算，能够跨多个
番茄炒西红柿炒蛋·2024-08-27 13:19

基于Hadoop的海量图像检索

Hadoop的海量图像检索文章目录基于Hadoop的海量图像检索摘要第一章引言1.1研究背景1.2研究意义1.3国内外研究现状1.4研究内容与方法1.5论文结构第二章相关技术介绍2.1Hadoop框架2.2分布式存储与计算
usp1994·2024-08-24 13:12

从零到一建设数据中台 - 关键技术汇总

一、数据中台关键技术汇总语言框架：Java、Maven、SpringBoot数据分布式采集：Flume、Sqoop、kettle数据分布式存储：HadoopHDFS离线批处理计算：MapReduce、Spark
我码玄黄·2024-08-24 12:09

选型搜索引擎之参考Elasticsearch

Elasticsearch的特点包括：分布式存储和搜索：Elasticsear
剑飞的编程思维·2024-03-09 18:17

ElasticSearch为什么快？

ElasticSearch是一个高性能，分布式搜索引擎，它之所以快，主要有以下几个原因：1.分布式存储：ElasticSearch使用分布式存储技术，将数据存储在多个节点上从而减少单个节点的压力，提高整体性能
z.jiaminf·2024-03-06 19:14

Java架构师之路四、分布式系统：分布式架构、分布式数据存储、分布式事务、分布式锁、分布式缓存、分布式消息中间件、分布式存储等。

目录分布式架构：分布式数据存储：分布式事务：分布式锁：分布式缓存：分布式消息中间件：分布式存储：Java架构师之路三、网络通信：TCP/IP协议、HTTP协议、RESTfulAPI、WebSocket、
述清-架构师之路·2024-02-27 01:09

Python专家指南：全面揭示文件操作的核心机制与实战技巧

无论是在日常的数据处理、配置文件管理、大规模数据分析，还是在复杂软件开发、网络通信及分布式存储解决方案中，对文件的操作能力都是程序员必备的基本功。
极客代码·2024-02-20 06:05

以内存为核心的开源分布式存储系统

是一个以内存为核心的开源分布式存储系统，也是目前发展最迅速的开源大数据项目之一。
这次靠你了·2024-02-20 05:26

云计算基础-存储虚拟化（深信服aSAN分布式存储）

什么是存储虚拟化分布式存储是利用虚拟化技术“池化”集群存储卷内通用X86服务器中的本地硬盘，实现服务器存储资源的统一整合、管理及调度，最终向上层提供NFS、ISCSI存储接口，供虚拟机根据自身的存储需求自由分配使用资源池中的存储空间
比特微联·2024-02-19 13:19

腾讯云OSS文件上传功能

它具有以下特点和优势：高可靠性：采用分布式存储架构，数据会在多个设备上进行冗余备份，确保数据的高可靠性和持久性。弹性扩展：支持根据业务需求自动扩展存储容量，无需担心存储空间不足的问题。
奋力向前123·2024-02-19 10:37

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

论文阅读-Pegasus：通过网络内一致性目录容忍分布式存储中的偏斜工作负载

论文名称：Pegasus:ToleratingSkewedWorkloadsinDistributedStoragewithIn-NetworkCoherenceDirectories摘要高性能分布式存储系统面临着由于偏斜和动态工作负载引起的负载不平衡的挑战
向来痴_·2024-02-14 06:10

03-03 elasticsearch

入门篇使用场景海量存储：支持分布式存储实时搜索：lucene倒排索引，海量数据下近乎实时搜索a.日志分析，es+logstash+kibanab.Github代码数据分析：支持数据分析及处理基本功能分布式的搜索引擎和数据分析引擎全文检索
nan得糊涂·2024-02-13 19:26

Kubernetes深度实践（三）

先说一下存储的选择，一般的话有一个分布式存储+Localstorage基本就够了。
哦呵呵_3579·2024-02-13 05:07

DL4J中文文档/DataVec/读取器

读取器实现对于复杂的文件类型或分布式存储机制是有用的。读取器返回记录记录中每一列的Writable类。这些类用于将每个记录转换为张量/NDArray格式。使用每个读取器实现都扩展了BaseRec
hello风一样的男子·2024-02-12 22:18

Glusterfs分布式存储

目录一、简介二、特点1、扩展性和高性能2、高可用性3、全局统一命名空间4、弹性卷管理5、基于标准协议三、专业术语四、GlusterFS构成五、GlusterFS的工作流程1、工作流程2、弹性HASH算法六、GlusterFS常用分布式简介1、分布式卷2、条带卷（Stripevolume）3、复制卷（Replicavolume）4、分布式条带卷（DistributeStripevolume）5、分布
忙碌滴比特流·2024-02-12 14:55

如何搭建glusterfs分布式存储系统

目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动分布式集群的结构配置可信池pool
MssGuo·2024-02-12 14:55

陪标材料制作

（1）陪标时会以不同于主投方的产品与应标，如此次陪标是用Lenvon的分布式存储，超融合服务器，交换
吴亮16·2024-02-11 20:15

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 18:09

SpringCloud微服务实战——搭建企业级开发框架（三十六）：使用Spring Cloud Stream实现消息中间件功能

在进行框架设计的时候，我们考虑是否能够和之前实现的短信发送、分布式存储等功能一样，抽象统一消息接口，屏蔽底层实现，在用到消息队列时，使用统一的接口代码，然后在根
·2024-02-11 17:42

Ceph入门到精通-sysctl参数优化

Ceph是一种开源的、高度可扩展的分布式存储系统，它可以在商业硬件上提供对象、块和文件系统的存储。
·2024-02-11 17:41

ClickHouse的特征,性能,优点,缺点,应用场景以及什么是OLAP,Clickhouse的相关优化

1.什么是clickhouse:提供了sql结构化的查询语言;clickhouse是一款分布式数据库;clickhouse可以存储海量数据;因为clickhouse是分布式存储海量数据,所以解决了高并发的问题
晓晓很可爱·2024-02-11 08:15

分布式存储系统学习笔记(三)—分布式键值系统(1)—Amazon Dynamo

1.概述Dynamo以很简单的键值方式存储数据，不支持复杂的查询。Dynamo中存储的是数据值的原始形式，不解析数据的具体内容。Dynamo主要用于Amazon购物车和S3云存储服务。Dynamo通过组合P2P的各种技术打造了线上可运行的分布式键值系统，下表列出了Dynamo设计时面临的问题及最终采取的解决方案：2.数据分布Dynamo采用一致性哈希将数据分布到多个存储节点中(博文：一天不学习我浑
不会算命的赵半仙·2024-02-11 02:34

MFS 分布式存储

MFS分布式存储MooseFS是一个具备冗余容错功能的分布式网络文件系统，它将数据分别存放在多个物理服务器或单独磁盘或分区上，确保一份数据有多个副本，然而对于访问MFS的客户端或者用户来说，整个分布式文件系统集群看起来就像一个资源一样
中门对狙·2024-02-11 01:30

DolphinScheduler-3.2.0 集群搭建

DolphinScheduler-3.2.0生产集群高可用搭建，DolphinScheduler原数据存储mysql设置，分布式存储采用h
爱吃辣条byte·2024-02-10 01:23

2022-12-02 Redis Cluster （1）通信机制

原文链接https://mp.weixin.qq.com/s/tlocdMlyI4Sx8UxfbuVjTw能提供的能力高可用更高的QPS分布式存储大量数据分散网络流量压力基本架构分区方式虚拟槽分区虚拟槽分区示意图
圆方的鱼·2024-02-09 21:05

编程随笔-ElasticSearch知识导图(1)：全景

但我最初了解ES却是从NoSQL数据库开始，在使用、研究了ES一段时间后，我发现这是一个优秀的分布式部署软件，不仅是一个全文搜索引擎、还是一个分布式存储系统、一个分布式数据库。  
weixin_33868027·2024-02-09 18:58

Raft算法在Curve中的实践

110006508【嵌牛导读】：本文介绍了RAFT算法的特点和基本应用【嵌牛鼻子】：Curve实践【嵌牛模块】：RAFT算法概念、特点、应用场合【嵌牛正文】：urve作为高性能、高可用、高可靠的新一代分布式存储系统
xx_d18b·2024-02-08 19:45

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。
0X码上链·2024-02-08 15:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他