分布式存储

ELK企业级日志分析系统

1.ELK各组件介绍ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
jin .·2023-04-08 03:00

了解elk与elfk

●ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过
不会就ctrl+c?·2023-04-08 03:59

FusionStorage分布式存储

FusionStorage分布式存储01FusionStorage是什么？FusionStorage是什么？
IT小组·2023-04-08 03:56

英特尔DAOS分布式异步存储系统

随着数据呈指数级增长，分布式存储系统不仅成为了数据中心的核心，同时也成了其主要的瓶颈。数据访问延迟高、可扩展性差、管理大型数据集难度大、缺乏查询功能，这些都是常常会遇到的阻碍。
尚先生的博客·2023-04-08 03:01

K8S集群中部署NFS之三：PV配置直接连接到 NFS 服务器

而持久化存储，NFS(NetworkFileSystem）是一个使用比较常用的分布式存储技术，在本系列中，我将详细演进如
乱七八糟谈技术·2023-04-08 00:23

跨链版EOS，Dimension到底凭什么？

当前，可扩展性、隐私保护、分布式存储、共识机制、治理机制、跨链互联等技术，依旧是绝大部分团队在开发和应用区块链过程中面临的问题。挑战即机遇，每一个细分领域的技术瓶颈，都有可能催生数十亿级的区块链项目。
lidaosong·2023-04-08 00:11

在 KubeSphere 中使用 Rook 构建云原生存储环境

Rook将分布式存储系统转变为自管理、自扩展、自修复的存储服务。它使存储管理员的部署、引导、配置、配置、扩展、升级、迁移、灾难恢复、监控和资源管理等任务自动化。
米开朗基杨·2023-04-08 00:19

几种分布式存储组网架构参考

作者：@NGDCN原文链接：几种分布式存储组网架构参考-NGDCN版权：本文由@NGDCN于2022-11-12原创发布在NGDCN，未经许可，禁止转载。
未来网络技术网·2023-04-07 17:35

【内推】【字节跳动】分布式存储 社招、实习

未来博客内容的目标是分布式存储和C++，当然持续有一些通用的操作系统、网络等内容。我就这么立了flag！！！去年的旧链接https://www.jianshu.com/p/6864d2951a91。
猴子007·2023-04-07 15:03

分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析

面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。—分布式文件系统HDFS—HDFS全称为HadoopDistributedFileSystem，在2006年由Doug
星环科技·2023-04-07 13:04

分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析

对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。—宽表存储—宽表存储最早来自Google的Bigtable论文，最初的定义为：ABigtableisasparse,dist
星环科技·2023-04-07 13:27

Ceph简介：

Ceph是什么Ceph是一种分布式存储系统，所谓分布式，指的是Ceph可以部署在多台服务器上，通过多台服务器并行处理来对外提供高性能的读写块。
付少华·2023-04-07 12:31

ceph概述

Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。2、为什么要使用ceph?ceph目前已得到众多云计算厂商的支持并被广泛应用。
songtaiwu·2023-04-07 12:29

分布式ceph完整存储理论 -01

分布式存储ceph一、ceph介绍1.1、ceph是什么ceph一个统一的、分布式的存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
FikL-09-19·2023-04-07 12:56

ceph磁盘集群

存储分类:1)DAS直连存储[硬盘]2)NAS网络附加存储[NFS,Samba...]提供文件系统共享3)SAN存储区域网络[iSCSI...]提供块共享4)分布式存储备注:文件系统(ext3,ext4
迎浪而上，逆浪而行·2023-04-07 12:25

CEPH分布式存储搭建(对象、块、文件三大存储)

集群配置信息：安装的ceph版本：cephversion12.2.12luminous配置所需源的地址wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repowget-O/etc/yum.repos.d/ceph.repohttps://raw.githubusercontent.com/
jerry-89·2023-04-07 12:23

世界500强是如何解决千亿流量留存问题的，《Ceph分布式存储架构》-使用CentOS 7部署 Ceph分布式存储架构-为他们解决什么问题。

文章目录一、Ceph概述1.1Ceph介绍1.2Ceph各组件介绍二、ceph集群部署实验2.1配置Ceph安装源2.2在xuegod63上安装ceph-deploy管理工具2.3离线安装ceph2.4安装cephmonitor2.5部署osd服务2.6创建ceph文件系统2.7部署mgr监控三、多种Ceph挂载方式3.1内核驱动挂载Ceph文件系统3.2使用ceph-fuse命令挂载Ceph文件
极客事纪·2023-04-07 12:21

分布式存储之ceph部署搭建

块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
9a9b3cafa4a0·2023-04-07 11:08

PySpark核心编程（核心RDD API、核心原理）

--弹性分布式数据集R：弹性：数据可以存放在内存中也可以存储在磁盘中D：分布式：分布式存储，用于分布式计算，RDD的数据是跨越机器存储（跨进程）D：数据集：是一个数据的集合，
喵内噶.·2023-04-07 05:16

监控神器-普罗米修斯Prometheus

不依赖分布式存储，单个服务器节点是自主的。通过基于HTTP的pull方式采集时序数据。可以通过中间网关进行时序列数据推送。通过服务发
tester_sz·2023-04-07 04:07

大数据之Hive

1、Hive是什么1.1概述在Hadoop项目中，HDFS解决了文件分布式存储的问题，MapReduce解决了数据处理分布式计算的问题。
冰河winner·2023-04-07 03:28

主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift

1引言目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构
米朵儿技术屋·2023-04-06 19:18

【6.824分布式系统笔记】LEC 3: GFS ｜HDFS、背景、GFS架构、文件读写、一致性

GFS论文笔记背景为什么构建分布式存储系统如此困难？需要大量机器并行来获得高性能→数据分割放置，即分片（
Mengo_x·2023-04-06 19:13

大数据导论（四：大数据的存储）

1.2管理问题这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足需求，需要开展分布式存储的研究。
SupAor·2023-04-06 16:35

5分钟看懂Ulord

首先在说Ulord之前，先来说下什么是区块链技术（以下都是个人看法）简单易懂来说就是个分布式存储（分布式存储简单的说就是本来你用电脑数据就存在自己电脑上，用了区块链技术就会存储到很多人电脑上,大概这么理解就行
我是小夫呀·2023-04-06 16:00

【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）

简介Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底层是
bandaoyu·2023-04-06 12:31

干货分享 | spdk技术简介和一些实践经验

01导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。
DPDK技术员·2023-04-06 12:44

Ceph分布式存储的搭建（增加mon节点、模拟osd节点故障恢复）

文章目录一、Ceph分布式存储1.1、Ceph文件系统简述1.2、Ceph的优点二、Ceph架构和名称解释2.1、Ceph架构2.2、Ceph集群组件三、Ceph的存储过程四、Ceph搭建过程4.1、环境准备
诸葛钢铁云·2023-04-06 03:08

ceph基础架构详解

本地存储的本地的文件系统，不能再网络上用.）区域存储网络:专用存储网络(接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储
黑猫警张Evans·2023-04-06 03:02

从零开始安装Ceph分布式存储｜Ubuntu环境

版本信息具体安装之前对操作系统做如下限制，其它版本的操作系统不保证能够安装成功。操作系统：Ubuntu14.04.3Ceph版本号：HammerV0.94.5设备信息本安装教程假设有4台服务器（或者虚拟机），1台作为管理节点，另外3台作为存储节点。当然，也可以用存储节点中的一台作为管理节点。具体地址和主机名称如图所示。图1环境部署拓扑需要在各个服务器上添加解析，方法是打开hosts文件，添加如下内
SunnyZhang的IT世界·2023-04-06 01:08

一文读懂Filecoin,想暴富看这里

Filecoin自2017年1COTop1以来，其去中心化区块链分布式存储的概念，受到了大家的广泛的关注，说到万世瞩目一点不稀奇，坊间传闻某矿圈大佬2017年就屯了2000万美金的硬盘。
区块链午餐·2023-04-05 22:34

MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC

MinIO是一种高性能、高可用的分布式存储系统，可以存储大量数据，并提供高速的数据读写能力。MinIO采用分布式架构，可以在多个节点上运行，实现数据的分布式存储和处理。
今天是 几 号·2023-04-05 19:13

Hadoop-HDFS分布式文件系统基础

分布式存储的核心属性和功能作用为什么使用分布式文件系统？当存储海量数据时，当磁盘空间不够时，往往是通过扩容来解决，但是升级扩容的成本高。单节点不能完成高并发，需要支撑海量数据的计算。
无敌的小周·2023-04-05 15:41

分布式文件系统HDFS架构和数据读写流程

Hadoop核心由HDFS和MapReduce组成，HDFS负责分布式存储，MapReduce负责分布式计算。
机器熊技术大杂烩·2023-04-05 14:14

内存数据库Redis、memorycache -系统架构师考试

MemCache和Redis两种工具的优缺点进行了比较MemCacheRedis数据类型key/waluehash、string、lists、sets、zsets、sorted分布式存储支持多种方式、主从
weixin_42163707·2023-04-05 12:53

关于Doris

Impala是一个非常好的MPPSQL查询引擎，但是缺少完美的分布式存储引擎。自研列式存储：存储层对存储数据的管理通过stora
weixin_43814165·2023-04-05 08:15

常见开源分布式存储系统

系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议（TCP）私有协议（TCP）HTTP私有协议（TCP）私有协议（TCP）/RDAM(远程直接访问内存)私有协议（TC
罗亚方舟·2023-04-05 02:19

【ceph】分布式存储ceph

1块存储，文件存储，对象存储1.1简介文件存储：分层次存储，文件存储在文件夹中；访问文件时系统需要知道文件所在的路径。举例：企业部门之间运用网络存储器（NAS）进行文件共享。块存储：将数据拆分成块，并单独存储各个块，块是一段标准长度（块大小）的字节或比特。举例：可用于绝大部分通用业务场景下的数据存储。对象存储：扁平结构，数据会被分解为称为“对象”的离散单元，并保持在单个存储空间中；通过API接口供
qq_37717687·2023-04-05 01:07

Ceph系列01-Ceph简介

Ceph是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用商用硬件上，具有高度可伸缩性，容量可扩展至EB级别，甚至更大。
tinychen777·2023-04-05 01:06

全能成熟稳定开源分布式存储Ceph破冰之旅-上

文章目录概述定义传统存储方式及问题优势生产遇到问题架构总体架构组成部分CRUSH算法数据读写过程CLUSTERMAP部署部署建议部署版本部署方式Cephadm部署前置条件安装CEPHADM引导新的集群安装命令概述定义Ceph官网https://ceph.comCeph最新官网文档https://docs.ceph.com/en/latestCephGitHub源码地址https://github.
IT小神·2023-04-05 01:29

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。
Be An Author·2023-04-05 01:29

分布式开源存储架构Ceph概述

CephOSDCephMonitorOSDMapPGMapCRUSH算法Ceph的文件存储Ceph的MDSceph的不足Ceph命令和使用ceph部署Ceph集群网络拓扑图ceph命令Ceph块存储的挂载分布式存储架构基本的原理
MyySophia·2023-04-05 01:37

KaiwuDB 分布式存储的负载均衡

导读KaiwuDB是浪潮开源的NewSQL分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍KaiwuDB在面对高负载存储过程中采用的负载均衡策略。负载均衡作为分布式数据库，为了更有效利用不同物理机节点的资源，避免服务器性能的浪费，在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分
KaiwuDB·2023-04-04 15:35

KaiwuDB分布式数据库-介绍

软件简介KaiwuDB是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整ACID，支持PostgreSQL协议访问
KaiwuDB·2023-04-04 15:05

hadoop中的各个模块及其作用

hadoop中的各个模块及其作用hdfs的组成yarn的组成Hadoop的分布式计算和分布式存储都采用了主从结构。分布式存储系统被称为HDFS。可以将整个文件系统看成一个超大的硬盘。
IT小鸟鸟·2023-04-04 12:12

Hadoop+Hbase分布式集群架构“完全篇”

Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_30510153·2023-04-04 09:28

LVS集群

LoadBalancing）负载均衡群集（2）HA：（HighAvailiablity）高可用集群（3）HPC：（High-performancecomputing）高性能运算群集PS（知识小科普）4.分布式系统（1）分布式存储
lltyyds·2023-04-04 03:49

k8s中emptydir、hostpath、localvolume的区别

作为分布式存储服务的一种补充手段，比如我在一台node主机上插了块SSD，准备给某个容器吃小灶。目前主流的两个容器集群存储解决方案是ceph和glusterfs，二者都是典型的网络
唐僧爱程序·2023-04-04 03:47

基于Kubernetes的云平台存储容器化实践

分布式存储介绍存储相比于其他组件，更底层，所以有必要做一个简单的科普。1、对象存储主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存
架构师小秘圈·2023-04-04 03:46

分布式存储Ceph RBD-Mirror 灾备实践

1.说明介绍继上次分享的《分布式存储系统Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》，这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2023-04-04 03:13
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他