GridFS分布式存储

2023年第十六届中国系统架构师大会（SACC2023）-核心PPT资料下载

一、峰会简介本届大会以“数字转型架构演进”为主题，涵盖多个热门领域，如多云多活、海量分布式存储、容器、云成本、AIGC大数据等，同时还关注系统架构在各个行业中的应用，如金融、制造业、互联网、教育等。
百家峰会·2023-11-24 09:08

redis-cluster集群模式

Redis-cluster集群1Redis3.0引入的分布式存储方案2集群由多个node节点组成,redis数据分布在节点之中,在集群之中分为主节点和从节点3集群模式当中,主从一一对应,数据写入和读取与主从模式一样
2301_79410672·2023-11-24 04:49

bclinux aarch64 ceph 14.2.10 云主机 4节点 fio

ceph-s由于是基于底层分布式存储的云主机，数据仅供参考本地云盘性能direct=11M读取IOPS=134,BW=134MiB/s[root@ceph-clientrbd]#cd/[root@ceph-client
hkNaruto·2023-11-24 01:55

区块链的下一个风口：IPFS

因此，必须通过其他手段分散存储系统压力，分布式存储和分布式文件系统应运而生。分布式存储多采用普通的硬件设备作为基础设施，因此，单位容量的存储成本也得到大大降低。另外，
阿拉丁先生·2023-11-24 00:56

HDFS分布式原理---概念篇

HDFS分布式系统2018年10月9日11:50什么是大数据：短时间内快速的产生海量的多种多样的有价值的数据大数据的技术：分布式存储分布式计算分布式批处理数据积攒一段时间，在未来某一时刻一次性计算一批数据分布式流处理数据实时进行计算
hjy1821·2023-11-23 14:16

redis-cluster集群

1.redis-cluster集群redis3.0引入的分布式存储方案集群由多个node节点组成，redis数据分布在这些节点之中。
小郭902·2023-11-23 13:38

spark算子大全glom_Spark 算子- Value Transformation

，转化为Spark数据块，通过BlockManager管理运行：输入形成RDD后，通过算子操作生成新的RDD，通过Action算子，触发Spark提交作业输出：程序结束数据输出到运行时数据空间，存储到分布式存储或
weixin_39736934·2023-11-23 12:38

一文教你玩转 Apache Doris 分区分桶新功能

过去的单机数据库在大数据量下往往面临存储和IO的限制，而分布式数据库则通过数据划分的规则，将数据打散分布至不同的机器或节点上，形成分布式存储，因此突破了单机存储空间和IO的瓶颈、使库表数据量可以无限拓展
SelectDB技术团队·2023-11-23 10:07

Rook-Ceph 分布式存储系统快速部署

2019独角兽企业重金招聘Python工程师标准>>>Rook-Ceph分布式存储系统快速部署ThisguidewillwalkyouthroughthebasicsetupofaCephclusterandenableyoutoconsumeblock
George_Fal·2023-11-23 09:57

微服务分布式系统中 必须知道的CAP 理论

三者不可同时获得一致性（C）：所有节点都可以访问到最新的数据可用性（A）：每个请求都是可以得到响应的，不管请求是成功还是失败分区容错性（P）：除了全部整体网络故障，其他故障都不能导致整个系统不可用CAP理论就是说在分布式存储系统中
小哇666·2023-11-23 08:33

redis cluster

主从的问题假设我们一台主机有200G的内存,但是业务数据有500G,主从+哨兵只能实现高可用故障切换和冗余备份,但是无法解决容量问题.产生木桶效应.为了最大化利用内存,可以采用cluster集群,就是分布式存储
心似南风·2023-11-23 08:15

ceph linux内核配置,centos 7.4-aarch64如何编译Ceph

一、Ceph简介简而言之，Ceph作为一个分布式存储系统设计的目标定位为：①可轻松扩展到数PB级别的容量(Ceph目前的版本可以轻松支持EB级别的存储容量)②能够自动适应多种工作负载的高性能(每秒输入/
weixin_39928787·2023-11-22 22:17

Redis： 集群部署

2.Redis集群RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。
Taopper·2023-11-22 18:58

WTable:RocksDB使用技巧之分布式存储扩容演进

1.背景RocksDB是由Facebook公司开源的一款高性能KeyValue存储引擎，目前被广泛应用于业界各大公司的存储产品中，其中就包括58存储团队自研的分布式KV存储产品WTable。RocksDB基于LSMTree存储数据，它的写入都是采用即时写WAL+Memtable，后台Compaction的方式进行。当写入量大时，Compaction所占用的IO资源以及对其读写的影响不容忽视。而对于
爱情小傻蛋·2023-11-22 09:42

漏洞预警|Apache Airflow Hive Provider命令注入漏洞

ApacheAirflowHiveProvider是一个使用SQL读取、写入和管理分布式存储中的大型数据集的工具
棱镜七彩·2023-11-22 06:46

Docker-13：Docker安装Hbase

1.背景HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文Bigtable：一个结构化数据的分布式存储系统”。
王老邪·2023-11-22 04:30

使用Docker部署HBase并使用Java-API连接

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。
当一艘船沉入海底8·2023-11-22 04:56

预约线上发布会 | “星星之火”精彩观点抢先看

星海全闪架构暨星飞存储发布会，到场嘉宾共同见证了全新的分布式全闪架构“星海（XSEA，eXtremeShared-EverythingArchitecture，极速全共享架构）”及星飞（XINFINI）全闪分布式存储的发布
XSKY星辰天合·2023-11-22 04:05

迎接“全全闪”时代 星辰天合发布星海架构和星飞产品

星海全闪架构暨星飞存储发布会，到场嘉宾共同见证了全新的分布式全闪架构“星海（XSEA，eXtremeShared-EverythingArchitecture，极速全共享架构）”及星飞（XINFINI）全闪分布式存储的发布
XSKY星辰天合·2023-11-22 04:04

使用PHP操作MinIO

最近实验了下MinIO，发现这个分布式存储还是很好用的，具体不做赘述。此处记录下使用PHP操作存储桶下的文件及文件夹。
不如喫茶去·2023-11-22 03:51

hadoop、hive、DBeaver的环境搭建及使用

本文主要介绍hadoop、hive的结构及使用，具体的操作步骤见最后的附件；hadoop提供大数据的存储、资源调度、计算，分为三个模块：HDFS、YRAN、MapReduceHDFS提供数据的分布式存储
骑士999111·2023-11-22 03:14

Kubernetes中分布式存储Rook-Ceph部署快速演练

最近在项目中有涉及到Kubernetes的分布式存储部分的内容，也抽空多了解了一些。
dotNET跨平台·2023-11-22 00:26

电力感知边缘计算网关产品设计方案-业务流程设计

边缘计算数据通信框架图：2.边缘计算数据处理方案边缘计算智能网关通过获取工业生产加工的原始数据，实现数据实时通信、边缘计算控制、分布式运算、分布式存储、网关数据安全防护等功能，为工业流程生
人生淡然·2023-11-21 22:36

Web3 分布式存储 IPFS（Web3项目一实战之四）

IPFS是一种分布式文件存储协议，它允许世界各地的计算机存储和服务文件作为一个巨大的对等网络的一部分来存储和服务文件。世界上任何地方的任何计算机都可以下载IPFS软件并开始托管和提供文件。如果有人在自己的计算机上运行IPFS，并将文件上传到IPFS网络，那么世界上其他任何运行IPFS的人都可以查看和下载该文件。本地安装IPFS我们可以下载官方已经编译好的二进制文件（安装包）：https://doc
甄齐才·2023-11-21 21:01

Ceph分布式存储系列（一）：Ceph工作原理及架构浅析梳理

一、Ceph简介众所周知，ceph是一种分布式存储系统，是有着“ceph之父”之称的SageWeil读博期间的研究课题，项目诞生于2004年，在2006年基于开源协议开源了Ceph的源代码，在经过了数年的发展之后
诸葛钢铁云·2023-11-21 12:08

分布式架构关键技术

分布式的概念所谓分布式，狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。
talentluke·2023-11-20 20:53

分布式存储系统Minio

多主机、多硬盘模式（分布式)适合存储大容量非结构化的数据该模式是Minio服务最常用的架构，通过共享一个accesskey和secretkey,在多台（2-32）服务器上搭建服务，且数据分散在多块（大于4块，无上限）磁盘上，提供了较为强大的数据冗余机制（Reed-Solomon纠删码）。
zty_1995·2023-11-20 18:54

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode和一个jps一、创建路径mkdir如果你的HDFShome目录不存在，则需要创建，我们后续都是用hdfs命令操作。首先cd命令进入
西岸先生·2023-11-20 12:31

四、hdfs文件系统基础操作-保姆级教程

启动集群:start-dfs.sh关闭集群:stop-dfs.sh2、文件系统构成（1）基础介绍其实hdfs作为分布式存储的文件系统，其构成和Linux文件系统构成差不多一样，均是以“/”作为根目录的组织形式
弦之森·2023-11-20 12:20

国产联盟链 Fisco-Bcos 调技术研报告

两翼指的是支持并行计算模型和分布式存储，并行计
smilejiasmile·2023-11-20 11:37

【成长日记】无币区块链，应该了解一些内容

比特币技术中通过分布式存储、共识机制、激励机制这些手段去完成。（三）思考这里面如果没有
能学多少学多少·2023-11-20 08:48

javaapi 访问 hbase

Hbase介绍HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
数据萌新·2023-11-20 05:35

数据结构与算法之美学习笔记：22 | 哈希算法（下）：哈希算法在分布式系统中有哪些应用？

目录前言应用五：负载均衡应用六：数据分片应用七：分布式存储解答开篇&内容小结前言本节课程思维导图今天，我们再来看剩余三种应用：负载均衡、数据分片、分布式存储。
浊酒南街·2023-11-19 23:43

CnosDB有主复制演进历程

分布式存储系统的复杂性涉及数据容灾备份、一致性、高并发请求和大容量存储等问题。本文结合CnosDB在分布式环境下的演化历程，分享如何将分布式理论应用于实际生产，以及不同实现方式的优缺点和应用场景。
CnosDB·2023-11-19 22:12

GFS分布式文件系统

分布式存储优点：增加存储容量加快读写效率保证文件高可用GFS介绍GFS：glusterFS开源的分布式的文件系统存储服务器，客户端，网络（用NFS/samba组成网关）传统式老的分布式系统元服务器，元服务器保存存储节点的目录树信息
aaa.com·2023-11-19 01:19

NoSQL数据库 —MongoDB和Redis

.54MongoDB资源消耗...65交互式shell66一般功能...76.1插入...76.2查询...76.3删除...76.4索引...86.5map/reduce.87模式设计...88嵌入与引用...99GridFS
好雨知时节哎·2023-11-17 18:20

MySQL InnoDB Buffer Pool 概览

InnoDBBufferPool浅析庄泽超互联网民工／关注分布式存储／数据库内核／wower已关注BufferPool简介InnoDB中的数据访问是以Page为单位的，每个Page的大小默认为16KB，
lixora·2023-11-17 06:37

【系统架构设计】架构核心知识： 3.5 Redis和ORM

目录一Redis1Redis与MemCache2Redis分布式存储方案3Redis集群切片的方式4Redis数据分片
Jackilina_Stone·2023-11-17 04:08

qt实现拓扑图_基于QT的PLC梯形图编辑系统设计与实现

李驰骎王庭有李应春杨安园摘要：为了探索PLC梯形图编辑系统的设计方法，从梯形图编程系统设计需求出发，分析传统梯形图网络的不足，采用一种高自由度的网络拓扑结构描述梯形图网络，并根据该网络拓扑结构提出一种分布式存储方案
weixin_39971172·2023-11-16 08:25

Hadoop的概述

Hadoop是一个基于海量数据的分布式存储和分布式计算
新手小农·2023-11-16 08:46

1.1 Ceph基础及集群的搭建

1.Ceph基础ceph是可靠的、自动重均衡、自动恢复的分布式存储系统。
xiaoyizi311·2023-11-15 15:52

使用cephadm部署单节点ceph集群，后期可扩容（基于官方文档，靠谱，读起来舒服）

使用条件服务器有外网访问能力服务器没有外网访问能力安装cephadmcephadm的功能两种安装方式基于curl安装cephadm各自linux发行版的特定安装方法在部署ceph前先花10分钟给各位看官扫盲（原创）ceph分布式存储的整体架构一些
上海一亩地·2023-11-15 15:16

ceph集群移除物理节点

1.概述ceph分布式存储在生产或者实验环境，经常涉及到物理节点加入或者删除，本文仅对移除物理节点的相关步骤做了操作记录，以方便需要时查阅。
牛角上的男孩·2023-11-15 15:37

算法之哈希算法

哈希函数的应用安全加密唯一标识数据校验散列函数负载均衡数据分片分布式存储问题总结：参考资料前言哈希算法和散列函数其实很多同学可能会混淆，一头雾水，其实散列函数只是哈希算法的一种实践应用。
遇见更好的自己、·2023-11-15 13:35

docker部署Prometheus+Cadvisor+Grafana实现服务器监控

Prometheus1：介绍：Prometheus是一个在SoundCloud上构建的开源系统监视和警报工具包2：特点多维度数据模型-由指标键值对标识的时间序列数据组成；PromQL，一种灵活的查询语言；不依赖分布式存储
huaweichenai·2023-11-15 11:48

谈谈对微服务的理解(PHP面试理论题)

二、出现原因三、体系四、微服务架构的优点五、微服务的缺点六、学习路线简介参考的学习链接微服务设计云原生分布式存储基石：etcd深入解析Docker技术入门与实战每天5分钟玩转Kubernetes左耳听风从
后端常规开发人员·2023-11-15 08:57

“颠覆·挑战·极致”华瑞指数云ExponTech WDS新一代产品重新定义企业存储和数据架构

国内数据存储领域领先厂商华瑞指数云ExponTech自主研发的高性能、高可靠的分布式存储产品ExponTechWDS成为优秀之选11月10日，主题为“颠覆·挑战·极致——重新定义企业存储和数据架构”华瑞指数云
CSDN云计算·2023-11-13 22:23

ceph集群—部署（附错误点解析 ）

ceph-deploy6.部署ceph集群7.osd共享磁盘服务存储类型：DAS直连存储（satasas）NAS（网络附加存储）sambanfsftp文件系统SAN（存储区域网络）iscsi块（SDS）软件定义存储分布式存储传统的存储
吃饭就用盆·2023-11-13 13:06

分布式存储Ceph部署

分布式存储Ceph1、Ceph简介Ceph使用C++语言开发，遵循LGPL协议开源。SageWeil(Ceph论文发表者)于2011年创立了以Inktank公司主导Ceph的开发和社区维护。
Ymaint·2023-11-13 13:35

云数据库MongoDB监控指标解读与关注

演讲嘉宾简介：陈柯任（花名：莫归），阿里巴巴高级开发工程师，曾在大众点评从事MongoDB与MySQL相关运维和自动化研发，现主要致力于分布式存储和NoSQL数据库相关领域以下内容根据演讲嘉宾视频分享以及
Winsdons·2023-11-12 13:44
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他