ceph-分布式存储

区块链的关键技术

一，P2P网络与分布式存储——储存作用首先，P2P网络是构建了区块链的基础，基于这个基础，区块链采取的是分布式存储，它本质是一个分布式数据库，当一笔交易（数据）产生后，
王永俊·2023-04-09 11:58

Alluxio社区范斌博士访谈录：关于数据编排，云迁移以及数据工程中的挑战

加入Alluxio项目之前,范斌就职于谷歌，从事下一代大规模分布式存储系统的研究与开发。范斌2013年获得卡内基梅隆大学(CarnegieMellonUniversity)计算机系博士学位，博士期
Alluxio·2023-04-09 07:16

Hadoop HDFS 分布式文件系统

DataNode职责HDFS写数据流程HDFSHDFS(HadoopDistributedFileSystem)，Hadoop分布式文件系统是ApacheHadoop的核心组件之一，作为大数据生态圈最底层的分布式存储
VenYy·2023-04-09 05:46

Mapreduce：概述 + 实例：WordCount + yarn

1.MapReduce的工作原理在分布式计算中，MapReduce框架负责处理了并行编程里分布式存储、工作调度，负载均衡、容错处理以及网络通信等复杂问题，现在我们把处理过程高度抽象
xjfy.h·2023-04-09 05:15

【深度知识】Ceph功能，原理及架构总结

1.Ceph架构简介及使用场景介绍1.1Ceph简介Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
笔名辉哥·2023-04-09 00:02

高成长、高潜力、高社区影响，达坦科技入选 2022 中国新锐技术先锋企业

作为中国领先的新一代开发者社区，SegmentFault思否依托数百万开发者的用户数据分析，各科技企业在国内技术领域的行为及影响力指标，最终评选出15家新锐企业，达坦科技作为领先的开源分布式存储领域企业
达坦科技DatenLord·2023-04-09 00:21

大数据-学习实践-2Hadoop

2Hadoop1知识点2具体内容2.1Hadoop介绍2.2两种安装方式2.2.1伪分布集群安装部署2.2.2分布式集群安装2.2.3客户端节点3待补充4Q&A5code6参考1知识点Hadoop介绍分布式存储
yxyibb·2023-04-08 19:48

Hadoop基础介绍

3、核心组件（1）HDFS：解决分布式存储，包括数据切分和多副本两部分。（2）MapReduce：解决分布式计算，Map：分，Reduce：合。既是分布式框架，又是编程模型。（3）YAR
幸福右手牵·2023-04-08 15:01

大数据开发hive数据库常用命令汇总

Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件1、进入hive数据库：hive2、查看hive中的所有数据库：showdatabases
爱开发V·2023-04-08 07:45

盘点分布式文件存储系统____分布式文件存储系统简介

一、分布式存储简介1、什么是分布式存储在开始介绍分布式存储之前，先了解一下，非分布式的存储方案。在单机时代，将文件直接存储在服务部署的服务器上——直连存储（DAS）：存储和数据直连，拓展性、灵活性差。
Archie_java·2023-04-08 06:29

ELK企业级日志分析系统

1.ELK各组件介绍ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
jin .·2023-04-08 03:00

了解elk与elfk

●ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过
不会就ctrl+c?·2023-04-08 03:59

FusionStorage分布式存储

FusionStorage分布式存储01FusionStorage是什么？FusionStorage是什么？
IT小组·2023-04-08 03:56

英特尔DAOS分布式异步存储系统

随着数据呈指数级增长，分布式存储系统不仅成为了数据中心的核心，同时也成了其主要的瓶颈。数据访问延迟高、可扩展性差、管理大型数据集难度大、缺乏查询功能，这些都是常常会遇到的阻碍。
尚先生的博客·2023-04-08 03:01

K8S集群中部署NFS之三：PV配置直接连接到 NFS 服务器

而持久化存储，NFS(NetworkFileSystem）是一个使用比较常用的分布式存储技术，在本系列中，我将详细演进如
乱七八糟谈技术·2023-04-08 00:23

跨链版EOS，Dimension到底凭什么？

当前，可扩展性、隐私保护、分布式存储、共识机制、治理机制、跨链互联等技术，依旧是绝大部分团队在开发和应用区块链过程中面临的问题。挑战即机遇，每一个细分领域的技术瓶颈，都有可能催生数十亿级的区块链项目。
lidaosong·2023-04-08 00:11

在 KubeSphere 中使用 Rook 构建云原生存储环境

Rook将分布式存储系统转变为自管理、自扩展、自修复的存储服务。它使存储管理员的部署、引导、配置、配置、扩展、升级、迁移、灾难恢复、监控和资源管理等任务自动化。
米开朗基杨·2023-04-08 00:19

几种分布式存储组网架构参考

作者：@NGDCN原文链接：几种分布式存储组网架构参考-NGDCN版权：本文由@NGDCN于2022-11-12原创发布在NGDCN，未经许可，禁止转载。
未来网络技术网·2023-04-07 17:35

【内推】【字节跳动】分布式存储 社招、实习

未来博客内容的目标是分布式存储和C++，当然持续有一些通用的操作系统、网络等内容。我就这么立了flag！！！去年的旧链接https://www.jianshu.com/p/6864d2951a91。
猴子007·2023-04-07 15:03

分布式存储技术（上）：HDFS 与 Ceph的架构原理、特性、优缺点解析

面对企业级数据量，单机容量太小，无法存储海量的数据，这时候就需要用到多台机器存储，并统一管理分布在集群上的文件，这样就形成了分布式文件系统。HDFS是Hadoop下的分布式文件系统技术，Ceph是能处理海量非结构化数据存储的对象存储技术，本文将对他们的架构原理、特性和优缺点做介绍。—分布式文件系统HDFS—HDFS全称为HadoopDistributedFileSystem，在2006年由Doug
星环科技·2023-04-07 13:04

分布式存储技术（下）：宽表存储与全文搜索引擎的架构原理、特性、优缺点解析

对于写密集型应用，每天写入量巨大，数据增长量无法预估，且对性能和可靠性要求非常高，普通关系型数据库无法满足其需求。对于全文搜索和数据分析这类对查询性能要求极高的场景也是如此。为了进一步满足上面两类场景的需求，有了宽表存储和搜索引擎技术，本文将对他们的架构、原理、优缺点做介绍。—宽表存储—宽表存储最早来自Google的Bigtable论文，最初的定义为：ABigtableisasparse,dist
星环科技·2023-04-07 13:27

Ceph简介：

Ceph是什么Ceph是一种分布式存储系统，所谓分布式，指的是Ceph可以部署在多台服务器上，通过多台服务器并行处理来对外提供高性能的读写块。
付少华·2023-04-07 12:31

ceph概述

Ceph是一个开放、自我修复和自我管理的统一分布式存储系统。具有高扩展性、高性能、高可靠性的优点。2、为什么要使用ceph?ceph目前已得到众多云计算厂商的支持并被广泛应用。
songtaiwu·2023-04-07 12:29

分布式ceph完整存储理论 -01

分布式存储ceph一、ceph介绍1.1、ceph是什么ceph一个统一的、分布式的存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。
FikL-09-19·2023-04-07 12:56

ceph磁盘集群

存储分类:1)DAS直连存储[硬盘]2)NAS网络附加存储[NFS,Samba...]提供文件系统共享3)SAN存储区域网络[iSCSI...]提供块共享4)分布式存储备注:文件系统(ext3,ext4
迎浪而上，逆浪而行·2023-04-07 12:25

CEPH分布式存储搭建(对象、块、文件三大存储)

集群配置信息：安装的ceph版本：cephversion12.2.12luminous配置所需源的地址wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repowget-O/etc/yum.repos.d/ceph.repohttps://raw.githubusercontent.com/
jerry-89·2023-04-07 12:23

世界500强是如何解决千亿流量留存问题的，《Ceph分布式存储架构》-使用CentOS 7部署 Ceph分布式存储架构-为他们解决什么问题。

文章目录一、Ceph概述1.1Ceph介绍1.2Ceph各组件介绍二、ceph集群部署实验2.1配置Ceph安装源2.2在xuegod63上安装ceph-deploy管理工具2.3离线安装ceph2.4安装cephmonitor2.5部署osd服务2.6创建ceph文件系统2.7部署mgr监控三、多种Ceph挂载方式3.1内核驱动挂载Ceph文件系统3.2使用ceph-fuse命令挂载Ceph文件
极客事纪·2023-04-07 12:21

分布式存储之ceph部署搭建

块存储：典型设备；磁盘阵列，硬盘作用：主要是将裸磁盘空间映射给主机使用，磁盘阵列（内含多块硬盘）做RAID操作或者LVM操作，逻辑划分出N块Logic盘并映射给主机使用，操作系统会识别到N块硬盘，但是无法感知到底是逻辑盘还是物理盘，所以还是会对其进行分区和格式化（无法共享数据）。每块逻辑盘实际上是由多块硬盘共同组成，在读写数据的时候，几块物理硬盘可以并行寻址和操作，大大提高了IO效率。优点：对块磁
9a9b3cafa4a0·2023-04-07 11:08

PySpark核心编程（核心RDD API、核心原理）

--弹性分布式数据集R：弹性：数据可以存放在内存中也可以存储在磁盘中D：分布式：分布式存储，用于分布式计算，RDD的数据是跨越机器存储（跨进程）D：数据集：是一个数据的集合，
喵内噶.·2023-04-07 05:16

监控神器-普罗米修斯Prometheus

不依赖分布式存储，单个服务器节点是自主的。通过基于HTTP的pull方式采集时序数据。可以通过中间网关进行时序列数据推送。通过服务发
tester_sz·2023-04-07 04:07

大数据之Hive

1、Hive是什么1.1概述在Hadoop项目中，HDFS解决了文件分布式存储的问题，MapReduce解决了数据处理分布式计算的问题。
冰河winner·2023-04-07 03:28

主流分布式存储技术对比分析：GFS、HDFS、GlusterFS、Ceph、Swift

1引言目前市面上各个厂家的分布式存储产品五花八门，但是如果透过产品本身的包装看到其背后的核心技术体系，基本上会分为两种架构，一种是有中心架构的分布式文件系统架构，以GFS、HDFS为代表；另外一种是完全无中心的分布式存储架构
米朵儿技术屋·2023-04-06 19:18

【6.824分布式系统笔记】LEC 3: GFS ｜HDFS、背景、GFS架构、文件读写、一致性

GFS论文笔记背景为什么构建分布式存储系统如此困难？需要大量机器并行来获得高性能→数据分割放置，即分片（
Mengo_x·2023-04-06 19:13

大数据导论（四：大数据的存储）

1.2管理问题这些大量的数据结构复杂，种类繁多，如何对分布、多态、异构的大数据进行管理的问题已经不期而至，传统的数据存储方式面对大数据的猛烈增长已不能满足需求，需要开展分布式存储的研究。
SupAor·2023-04-06 16:35

5分钟看懂Ulord

首先在说Ulord之前，先来说下什么是区块链技术（以下都是个人看法）简单易懂来说就是个分布式存储（分布式存储简单的说就是本来你用电脑数据就存在自己电脑上，用了区块链技术就会存储到很多人电脑上,大概这么理解就行
我是小夫呀·2023-04-06 16:00

【ceph】什么是Ceph？------（MinIO和ceph的区别|GFS（GlusterFS）、MFS、Ceph、Lustre|文档）

简介Ceph则是一个统一分布式存储系统（统一：同时支持块存储、文件存储和对象存储），具有优异的性能、可靠性和可扩展性。Ceph底层是
bandaoyu·2023-04-06 12:31

干货分享 | spdk技术简介和一些实践经验

01导读与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。
DPDK技术员·2023-04-06 12:44

Ceph分布式存储的搭建（增加mon节点、模拟osd节点故障恢复）

文章目录一、Ceph分布式存储1.1、Ceph文件系统简述1.2、Ceph的优点二、Ceph架构和名称解释2.1、Ceph架构2.2、Ceph集群组件三、Ceph的存储过程四、Ceph搭建过程4.1、环境准备
诸葛钢铁云·2023-04-06 03:08

ceph基础架构详解

本地存储的本地的文件系统，不能再网络上用.）区域存储网络:专用存储网络(接交换机形成专用的存储网络)SAN==》对于稳定性要求比较高的：金融/银行网络附加存储:对外服务by网络,任何设备都可以访问2.分布式存储
黑猫警张Evans·2023-04-06 03:02

从零开始安装Ceph分布式存储｜Ubuntu环境

版本信息具体安装之前对操作系统做如下限制，其它版本的操作系统不保证能够安装成功。操作系统：Ubuntu14.04.3Ceph版本号：HammerV0.94.5设备信息本安装教程假设有4台服务器（或者虚拟机），1台作为管理节点，另外3台作为存储节点。当然，也可以用存储节点中的一台作为管理节点。具体地址和主机名称如图所示。图1环境部署拓扑需要在各个服务器上添加解析，方法是打开hosts文件，添加如下内
SunnyZhang的IT世界·2023-04-06 01:08

一文读懂Filecoin,想暴富看这里

Filecoin自2017年1COTop1以来，其去中心化区块链分布式存储的概念，受到了大家的广泛的关注，说到万世瞩目一点不稀奇，坊间传闻某矿圈大佬2017年就屯了2000万美金的硬盘。
区块链午餐·2023-04-05 22:34

MinIO信息泄露漏洞(CVE-2023-28432)批量检测POC

MinIO是一种高性能、高可用的分布式存储系统，可以存储大量数据，并提供高速的数据读写能力。MinIO采用分布式架构，可以在多个节点上运行，实现数据的分布式存储和处理。
今天是 几 号·2023-04-05 19:13

Hadoop-HDFS分布式文件系统基础

分布式存储的核心属性和功能作用为什么使用分布式文件系统？当存储海量数据时，当磁盘空间不够时，往往是通过扩容来解决，但是升级扩容的成本高。单节点不能完成高并发，需要支撑海量数据的计算。
无敌的小周·2023-04-05 15:41

分布式文件系统HDFS架构和数据读写流程

Hadoop核心由HDFS和MapReduce组成，HDFS负责分布式存储，MapReduce负责分布式计算。
机器熊技术大杂烩·2023-04-05 14:14

内存数据库Redis、memorycache -系统架构师考试

MemCache和Redis两种工具的优缺点进行了比较MemCacheRedis数据类型key/waluehash、string、lists、sets、zsets、sorted分布式存储支持多种方式、主从
weixin_42163707·2023-04-05 12:53

关于Doris

Impala是一个非常好的MPPSQL查询引擎，但是缺少完美的分布式存储引擎。自研列式存储：存储层对存储数据的管理通过stora
weixin_43814165·2023-04-05 08:15

常见开源分布式存储系统

系统整体对比对比说明/文件系统TFSFastDFSMogileFSMooseFSGlusterFSCeph开发语言C++CPerlCCC++开源协议GPLV2GPLV3GPLGPLV3GPLV3LGPL数据存储方式块文件/Trunk文件块文件/块对象/文件/块集群节点通信协议私有协议（TCP）私有协议（TCP）HTTP私有协议（TCP）私有协议（TCP）/RDAM(远程直接访问内存)私有协议（TC
罗亚方舟·2023-04-05 02:19

【ceph】分布式存储ceph

1块存储，文件存储，对象存储1.1简介文件存储：分层次存储，文件存储在文件夹中；访问文件时系统需要知道文件所在的路径。举例：企业部门之间运用网络存储器（NAS）进行文件共享。块存储：将数据拆分成块，并单独存储各个块，块是一段标准长度（块大小）的字节或比特。举例：可用于绝大部分通用业务场景下的数据存储。对象存储：扁平结构，数据会被分解为称为“对象”的离散单元，并保持在单个存储空间中；通过API接口供
qq_37717687·2023-04-05 01:07

Ceph系列01-Ceph简介

Ceph是一个可大规模扩展、高性能并且无单点故障的分布式存储系统。从一开始它就运行在通用商用硬件上，具有高度可伸缩性，容量可扩展至EB级别，甚至更大。
tinychen777·2023-04-05 01:06

全能成熟稳定开源分布式存储Ceph破冰之旅-上

文章目录概述定义传统存储方式及问题优势生产遇到问题架构总体架构组成部分CRUSH算法数据读写过程CLUSTERMAP部署部署建议部署版本部署方式Cephadm部署前置条件安装CEPHADM引导新的集群安装命令概述定义Ceph官网https://ceph.comCeph最新官网文档https://docs.ceph.com/en/latestCephGitHub源码地址https://github.
IT小神·2023-04-05 01:29
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他