GridFS分布式存储

【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）

简介Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底层是
bandaoyu·2023-04-06 12:31

干货分享 | spdk技术简介和一些实践经验

01导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。
DPDK技术员·2023-04-06 12:44

Ceph分布式存储的搭建（增加mon节点、模拟osd节点故障恢复）

文章目录一、Ceph分布式存储1.1、Ceph文件系统简述1.2、Ceph的优点二、Ceph架构和名称解释2.1、Ceph架构2.2、Ceph集群组件三、Ceph的存储过程四、Ceph搭建过程4.1、环境准备
诸葛钢铁云·2023-04-06 03:08

ceph基础架构详解

本地存储的本地的文件系统，不能再网络上用.）区域存储网络:专用存储网络(接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储
黑猫警张Evans·2023-04-06 03:02

从零开始安装Ceph分布式存储｜Ubuntu环境

版本信息具体安装之前对操作系统做如下限制，其它版本的操作系统不保证能够安装成功。操作系统：Ubuntu14.04.3Ceph版本号：HammerV0.94.5设备信息本安装教程假设有4台服务器（或者虚拟机），1台作为管理节点，另外3台作为存储节点。当然，也可以用存储节点中的一台作为管理节点。具体地址和主机名称如图所示。图1环境部署拓扑需要在各个服务器上添加解析，方法是打开hosts文件，添加如下内
SunnyZhang的IT世界·2023-04-06 01:08

一文读懂Filecoin,想暴富看这里

Filecoin自2017年1COTop1以来，其去中心化区块链分布式存储的概念，受到了大家的广泛的关注，说到万世瞩目一点不稀奇，坊间传闻某矿圈大佬2017年就屯了2000万美金的硬盘。
区块链午餐·2023-04-05 22:34

MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC

MinIO是一种高性能、高可用的分布式存储系统，可以存储大量数据，并提供高速的数据读写能力。MinIO采用分布式架构，可以在多个节点上运行，实现数据的分布式存储和处理。
今天是 几 号·2023-04-05 19:13

Hadoop-HDFS分布式文件系统基础

分布式存储的核心属性和功能作用为什么使用分布式文件系统？当存储海量数据时，当磁盘空间不够时，往往是通过扩容来解决，但是升级扩容的成本高。单节点不能完成高并发，需要支撑海量数据的计算。
无敌的小周·2023-04-05 15:41

分布式文件系统HDFS架构和数据读写流程

Hadoop核心由HDFS和MapReduce组成，HDFS负责分布式存储，MapReduce负责分布式计算。
机器熊技术大杂烩·2023-04-05 14:14

内存数据库Redis、memorycache -系统架构师考试

MemCache和Redis两种工具的优缺点进行了比较MemCacheRedis数据类型key/waluehash、string、lists、sets、zsets、sorted分布式存储支持多种方式、主从
weixin_42163707·2023-04-05 12:53

关于Doris

Impala是一个非常好的MPPSQL查询引擎，但是缺少完美的分布式存储引擎。自研列式存储：存储层对存储数据的管理通过stora
weixin_43814165·2023-04-05 08:15

常见开源分布式存储系统

系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议（TCP）私有协议（TCP）HTTP私有协议（TCP）私有协议（TCP）/RDAM(远程直接访问内存)私有协议（TC
罗亚方舟·2023-04-05 02:19

【ceph】分布式存储ceph

1块存储，文件存储，对象存储1.1简介文件存储：分层次存储，文件存储在文件夹中；访问文件时系统需要知道文件所在的路径。举例：企业部门之间运用网络存储器（NAS）进行文件共享。块存储：将数据拆分成块，并单独存储各个块，块是一段标准长度（块大小）的字节或比特。举例：可用于绝大部分通用业务场景下的数据存储。对象存储：扁平结构，数据会被分解为称为“对象”的离散单元，并保持在单个存储空间中；通过API接口供
qq_37717687·2023-04-05 01:07

Ceph系列01-Ceph简介

Ceph是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用商用硬件上，具有高度可伸缩性，容量可扩展至EB级别，甚至更大。
tinychen777·2023-04-05 01:06

全能成熟稳定开源分布式存储Ceph破冰之旅-上

文章目录概述定义传统存储方式及问题优势生产遇到问题架构总体架构组成部分CRUSH算法数据读写过程CLUSTERMAP部署部署建议部署版本部署方式Cephadm部署前置条件安装CEPHADM引导新的集群安装命令概述定义Ceph官网https://ceph.comCeph最新官网文档https://docs.ceph.com/en/latestCephGitHub源码地址https://github.
IT小神·2023-04-05 01:29

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。
Be An Author·2023-04-05 01:29

分布式开源存储架构Ceph概述

CephOSDCephMonitorOSDMapPGMapCRUSH算法Ceph的文件存储Ceph的MDSceph的不足Ceph命令和使用ceph部署Ceph集群网络拓扑图ceph命令Ceph块存储的挂载分布式存储架构基本的原理
MyySophia·2023-04-05 01:37

KaiwuDB 分布式存储的负载均衡

导读KaiwuDB是浪潮开源的NewSQL分布式数据库，拥有强一致、高可用的分布式架构。在高负载的情况下，分布式数据库能够将负载压力平衡到不同的物理机节点上，充分利用不同节点的资源。本文将介绍KaiwuDB在面对高负载存储过程中采用的负载均衡策略。负载均衡作为分布式数据库，为了更有效利用不同物理机节点的资源，避免服务器性能的浪费，在数据库高负载的情况下需要尽量将压力平衡到各个物理机节点上。这也是分
KaiwuDB·2023-04-04 15:35

KaiwuDB分布式数据库-介绍

软件简介KaiwuDB是浪潮打造的一款分布式数据库产品，具备强一致、高可用分布式架构、分布式水平扩展、高性能、企业级安全等特性，自研的原生分布式存储引擎支持完整ACID，支持PostgreSQL协议访问
KaiwuDB·2023-04-04 15:05

hadoop中的各个模块及其作用

hadoop中的各个模块及其作用hdfs的组成yarn的组成Hadoop的分布式计算和分布式存储都采用了主从结构。分布式存储系统被称为HDFS。可以将整个文件系统看成一个超大的硬盘。
IT小鸟鸟·2023-04-04 12:12

Hadoop+Hbase分布式集群架构“完全篇”

Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_30510153·2023-04-04 09:28

LVS集群

LoadBalancing）负载均衡群集（2）HA：（HighAvailiablity）高可用集群（3）HPC：（High-performancecomputing）高性能运算群集PS（知识小科普）4.分布式系统（1）分布式存储
lltyyds·2023-04-04 03:49

k8s中emptydir、hostpath、localvolume的区别

作为分布式存储服务的一种补充手段，比如我在一台node主机上插了块SSD，准备给某个容器吃小灶。目前主流的两个容器集群存储解决方案是ceph和glusterfs，二者都是典型的网络
唐僧爱程序·2023-04-04 03:47

基于Kubernetes的云平台存储容器化实践

分布式存储介绍存储相比于其他组件，更底层，所以有必要做一个简单的科普。1、对象存储主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存
架构师小秘圈·2023-04-04 03:46

分布式存储Ceph RBD-Mirror 灾备实践

1.说明介绍继上次分享的《分布式存储系统Ceph架构及使用场景解析》和《分布式存储Ceph之PG状态详解》，这次分享《分布式存储Ceph块存储灾备方案》。
糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2023-04-04 03:13

分布式文件与分布式存储系统学习总结(持续更新)

存储系统知识WriteAheadLog问题引入存储系统在运行过程中，每时每刻都在发生数据更新。如对文件数据的CRUD.对于中心控制节点来说，这些都会涉及到metadata的更新操作。为了保持元数据和文件数据的状态一致性，系统所有对数据的操作对应的元数据变更都应该要持久化到元数据db中。那假如这个metadatadb是在外存的，那么是否意味着高频的io操作？是否可以引入延时写入的方法？WriteAh
小凯Alex·2023-04-04 02:56

分布式存储引擎（B树、LSM树）原理

分布式存储引擎（B树、LSM树）原理B+树结构Update-in-place常见于传统关系型数据库（MySQL、Oracle），按key维护B+树，数据存放在叶子结点（每个页对应的节点可以有更高的度，减小树的深度
Tong_jy·2023-04-04 01:56

rabbitMQ的学习第一篇(持续更新)

mq的使用场景2:几种mq什么时候选择rabbitMQ3:MQ保存和消费消息的性能于其他MQ的对比4:系统的qps,系统的承受能力5;消息的投递与消费:1.正确投递2消息正确消费3.消息幂等性4.消息的分布式存储使用实例
从入门到京东·2023-04-03 22:23

微众银行数据库架构演进及 TiDB 实践经验

硕士毕业于华中科技大学，毕业后加入腾讯，任高级工程师，从事分布式存储与云数据库相关的研发与运营工作；2014年加入微众银行，负责微众银行的数据库平台的建设与运营。黄蔚，微众银行数据库平台室高级DBA。
TiDB_PingCAP·2023-04-03 21:04

Hadoop架构和原理

简介Hadoop使由Apache研发的一套分布式存储和计算框架，目前被广泛应用于大数据存储和计算业务中。
松myth·2023-04-03 20:26

Hadoop系列-Hadoop架构、组件和生态简介（一）

Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。
Just Jump·2023-04-03 20:28

ElasticSearch让人叹为观止的分布式系统架构设计

这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。我们先来简单看下Elasticsearch的架构。
xhmj12·2023-04-03 19:22

Ulord的分布式存储

我们先看一下白皮书里关于分布式存储的段落：Ulord使用P2P的超媒体协议，可以让网络更快、更安全、更开放。
小学生王旋·2023-04-03 16:09

存储性能测试软件怎么用的,《杉岩两语》：Vdbench在分布式存储性能测试中的使用方法...

Vdbench是Oracle编写的一款应用广泛的存储性能测试工具，既支持块设备的性能测试，也支持文件系统性能测试。Vdbench使用java编写，兼容linux和windows的操作系统，使用方便。1、Vdbench使用及结果参看使用vdbench时需要先安装java的jdk包，Vdbench作为性能测试工具，广泛应用于各种性能测试场景中，当然，它也是免费的(点击这里，了解为什么要说也)。同时vd
何宗徽·2023-04-03 16:57

温故知新：ScaleIO Oracle性能测试解析

近日看到某分布式存储软件/ServerSAN宣称“提供单节点可达100,000IOPS的优越性能…单节点可达1.6GB/s带宽”，粗略感觉还算可以吧，当然稳定性可靠性比这个更重要。
weixin_34112181·2023-04-03 16:24

全闪分布式，如何深度性能POC？

全闪存储已经成为当前存储的新贵，从存储架构的演变角度，软件定义的分布式存储系统替代传统控制器架构的磁盘阵列已是大势所趋。
大道云行TaoCloud·2023-04-03 16:58

科普｜从硬件角度讲解——分布式存储是什么？

什么是分布式存储系统？分布式存储又称去中心化存储，要理解它，首先我们需要了解中心化存储。
「已注销」·2023-04-03 16:18

分布式存储测试模型

分布式存储测试模型(1)Cosbench可以通过对象接口，模拟对象数据访问时数据高并发以及大带宽写入数据时海量小文件数据写入的OPS(每秒可以读取或者写入的文件数量)以及大容量数据写入时的带宽(每秒写入和读取的数据量
OnlyDuckDuck·2023-04-03 15:35

全闪分布式块存储性能真实实测—— 2节点服务器集群，单个LUN存储卷性能 ＞600万IOPS， ＞58GB/s带宽

传统集中式架构存储已无法满足现实存储需求，越来越多企业开始选择分布式存储架构做存储基座。另一方面，随着5G开始发力，人工智能，超算，无人驾驶等研究愈发深入，对存储速度和带宽的要求也越来越高。
存储马小生·2023-04-03 15:29

（Windows，linux，阿里云）安装minio，springboot使用minio【全】

minio一.Windows安装minio二：linux（阿里云）安装minio三、springboot使用minio这几天在搞Minio分布式存储，特此记录一下！！！
北海南风·2023-04-03 13:13

星环科技多模型数据统一存储的大数据分布式存储平台方案分享

数字经济时代，随着大数据、人工智能等新一代信息技术的快速发展与应用，企业的数据量呈现爆炸式增长，数据结构也越来越多样化，对数据存储提出了更新的要求：数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据，多模型存储需求应运而生。非结构化数据的快速增长，对象存储的优势逐渐显现，并要求能够低成本实现海量非结构数据的存储。此外，传统数据存储平台需要同时存储大文件和小文件，
星环科技·2023-04-03 11:33

Ceph分布式存储系列（六）：对象存储、块存储、文件存储的区别和优缺点

承接上文Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理分布式存储总体分为对象、块、文件三种存储类型，且ceph同时支持这三种存储类型，那么这里再简单谈一下三种存储类型的差异点及各自优势和适用环境
Echo&.·2023-04-03 11:17

DHT技术，IPFS,BT是个啥

1.DHT技术即分布式哈希表技术，是一种分布式存储方法。这种网络不需要中心节点服务器，而是每个客户端负责一个小范围的路由，并负责存储一小部分数据，从而实现整个DHT网络的寻址和存储。
啊哈...·2023-04-03 09:59

Git拉取指定文件或者文件夹

在SVN里面，这非常容易实现，因为SVN基于文件方式存储，而Git却是基于元数据方式分布式存储文件信息的，它会在每一次Clone的时候将所有信息都取回到本地，即相当于在你的机器上生成一个克隆版的版本库。
星光落入你灰蒙蒙的眼·2023-04-03 09:26

疫情之下，分布式办公将成为趋势

随着区块链技术的诞生，“分布式”一词便更加普遍地出现在各个方面，分布式账本、分布式存储、分布式节点……而网络和科技的发展，又为许多新型的金融、商业、管理等模式创造了更多便利和可能。
飞扬跋扈的小白兔·2023-04-03 08:07

kvm安装centos7_ProxmoxVE 之 5.3集群安装及使用ceph

(微信号：yuweibing7803，公众号：Openstack私有云)PVE5.3版本对于磁盘的管理，包括对分布式存储ceph的支持据说都更加友好了。
weixin_39632212·2023-04-03 08:44

存储专题扩容，HA、LB分布式存储

一、架构与存储的关系一个新的硬盘在linux系统里使用一般来说就三步:(分区,格式化)-挂载-使用blocklvs:四层负载均衡，nginx、haproxy四层和七层都有redis、memcache缓存中间件是缓存后端数据库读的信息。高端的容器技术，一旦系统出现可以可以直接重装系统，所以系统盘与数据盘必须分开远程存储服务器可以为web服务器和数据库服务器提供内存，负载均衡服务器不用（请求内容数据太
CCTVZHENG·2023-04-03 07:36

区块链技术之分布式存储

分布式存储是一种数据存储技术，它可以跨多个物理服务器传播文件、块存储或者对象存储，以实现高可用性、数据备份和灾难恢复目的。可扩展的存储服务以及数据中心的巨大数据池。
闲谈共视·2023-04-03 06:43

10第九章：【02】Docker复杂安装—分布式存储Redis集群

答：单机单台100%不可能，肯定是分布式存储，用redis如何落地？
格物-致知·2023-04-03 06:01

ceph（分布式存储）

文章目录一、ceph的组件和功能1.简介2.层次结构和功能二、ceph的数据读写流程三、使用ceph-deploy安装一个最少三个节点的ceph集群(推荐3个或以上的磁盘作为专用osd)1.基础配置配置主机名给三台主机写入hosts解析配置node1到所有节点root用户免密钥互信配置时间同步在node1上配置本地yum源2.部署ceph集群步骤一：安装ceph-deploy步骤二：创建ceph集
掌九·2023-04-03 05:26
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他