GFS分布式存储

消息中间件之Kafka(二)

1.commitlog文件会受到所在机器的文件系统大小的限制，分区之后可以将不同的分区放在不同的机器上，相当于对数据做了分布式存储，理论上一个topic可以处理任意数量的数据2.提高并行度1.2如何在多个
coffee_babe·2024-01-21 16:04

Ceph分布式存储部署

目录一、存储1、存储基础2、NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）3、SAN（存储区域网络）4、单机存储的问题5、商业存储解决方案6、分布式存储（软件定义的存储SDS）7、分布式存储的类型二
睡美人章繁·2024-01-21 16:26

分布式存储赛道群雄逐鹿：Filecoin「友商」盘点

Crust实现了去中心化存储的激励层协议，适配包括IPFS在内的多种存储层协议，并对应用层提供支持。同时Crust的架构也有能力对去中心化计算层提供支持，构建分布式云生态。有市无币的FIL一路高涨。据MyToken数据显示，FIL近3月涨幅达308.19%。在主网上线时间几经推迟后，据Filecoin最新的官方回应，「预产期」定在了8月31日——9月21日，这个预期带动了整个市场。目前，包括Gat
Crust分布式云·2024-01-21 09:40

Docker部署高性能分布式存储MinIO

文件存储系统，相比FastDFS使用MinIO易上手，可扩展，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。优势:1.Minio有良好的存储机制2.Minio有很好纠删码的算法与擦除编码算法3.可向大数据方面过渡4.docker搭建非常方便适用场景:1.对象存储2.文件服务器原理：MinIO分布式集
抹香鲸之海·2024-01-20 21:27

UE学习笔记--如何区分FString、FName、FText，以及使用场景

FStringFString是的缩
就一枚小白·2024-01-20 16:31

[ELK] ELK企业级日志分析系统

●ElasticSearch：是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。Elasticsearch是用Java开发的，可通过RESTfulWeb
为什么老是名字被占用·2024-01-20 12:34

FastDFS之快速入门、上手

分布式存储：资源存储在多个服务器，这个存储资源构成一个虚拟的存储设备。常见的DFSFastDFS：开源的轻量级分布式文件系统；HD
微风至夏·2024-01-20 12:03

GZ036 区块链技术应用赛项赛题第3套

作为数字经济时代的前沿产物，区块链以其分布式存储、不可伪造和防篡改、透明可信、高可靠性和可追溯等优势，区块
嘿哈小将·2024-01-20 11:42

【Redis】三种集群模式（主从复制、哨兵模式、Cluster）

cluster模式是redis官方提供的集群模式，使用了Sharding技术，不仅实现了高可用、读写分离、也实现了真正的分布式存储。一、主从复制Redis的主从复制是一
hope笔记·2024-01-20 10:34

大数据导论（2）---大数据与云计算、物联网、人工智能

2.云计算是一种全新的技术，包含了虚拟化、分布式存储、分布式计
冒冒菜菜·2024-01-20 07:49

亚信安慧AntDB数据库：揭开性能与效率提升的奥秘

它采用了先进的数据库分片技术，使得数据在多个节点间进行分布式存储和处理，从而大幅提升数据库的性能和吞吐量。AntDB数据库的分片技术可以根据数据的特点和访问模式进行灵活
亚信安慧AntDB数据库·2024-01-20 01:31

创建本机与VM虚拟机的共享文件夹

打开VM虚拟机，右键点击虚拟系统，点击设置按着顺序点下去浏览选中刚才创建的文件夹在linux上查看共享文件夹主文件夹–其他位置–计算机–mnt–hgfs–myshare
WZJ499710·2024-01-19 21:13

ELK日志分析

ElasticSearch是基于Lucene（一个全文检索引擎的架构）开发的分布式存储检索引擎，用来存储各类日志。
lelelele798·2024-01-19 21:12

华为云计算IE面试笔记-fusionstorage相对于传统集中式存储的优势

fusionstorage是华为研发的一款分布式存储软件，可以将X86架构的服务器组成一个存储池，向上提供统一的存储能力。
魔仙堡的仙女·2024-01-19 20:19

【分布式技术】分布式存储ceph之RBD块存储部署

目录创建Ceph块存储系统RBD接口服务端操作1、创建一个名为rbd-demo的专门用于RBD的存储池2、将存储池转换为RBD模式3、初始化存储池4、创建镜像5、在管理节点创建并授权一个用户可访问指定的RBD存储池6、修改RBD镜像特性，CentOS7默认情况下只支持layering和striping特性，需要将其它的特性关闭7、将用户的keyring文件和ceph.conf文件发送到客户端的/e
liu_xueyin·2024-01-19 04:17

【分布式技术】分布式存储ceph之RGW接口

目录1、对象存储概念2、创建RGW接口//在管理节点创建一个RGW守护进程#创建成功后默认情况下会自动创建一系列用于RGW的存储池#默认情况下RGW监听7480号端口//开启http+https，更改监听端口#更改监听端口//创建RadosGW账户客户端测试OSD故障模拟与恢复3、把原来坏掉的osd修复后重新加入集群方法二1、对象存储概念对象存储（objectstorage）是非结构数据的存储方法
liu_xueyin·2024-01-19 04:17

存储系统——Ceph

目录存储基础单机存储设备单机存储的问题分布式存储（软件定义的存储SDS）分布式存储的类型Ceph概述Ceph优势Ceph架构RADOS基础存储系统LIBRADOS基础库高层应用接口应用层Ceph核心组件
袁慕求玲·2024-01-19 04:17

【分布式技术】分布式存储ceph之MDS接口详解

目录创建CephFS文件系统MDS接口服务端操作1）在管理节点创建mds服务2）查看各个节点的mds服务3）创建存储池，启用ceph文件系统4）查看mds状态，一个up，其余两个待命，目前的工作的是node01上的mds服务5）创建用户客户端1）客户端要在public网络内（我的public网络是192.168.20.0/24网段）在客户端安装ceph软件包2）在客户端创建工作目录3）在ceph的
liu_xueyin·2024-01-19 04:46

[ceph] ceph之分布式存储

分布式存储的类型●块存储（例如硬盘，一般是一个存储被一个服务器挂载使用，适用于容器或虚拟机存储卷分配、日志存储、文件存储）就是一个裸设备，用于提供没有被组织过的存储空间，底层以分块的方式来存储数据●文件存储
为什么老是名字被占用·2024-01-19 04:15

攻防世界（web区，难度1，5道题）nssctf（web区，4道题）

文章目录攻防世界一.inget二.fileclude(NO.GFSJ1010)三.fileinclude(NO.GFSJ1007）四.Training-WWW-Robots五.easyuploadnssctf
溯光聊斋·2024-01-19 02:04

Ceph分布式存储（1）

目录一.ceph分布式存储Ceph架构（自上往下）OSD的存储引擎：Ceph的存储过程：二.基于ceph-deploy部署Ceph集群20-40节点上添加3块硬盘，一个网卡：10节点为admin，20-
伍dLu·2024-01-18 21:49

Ceph分布式存储（2）

目录一.资源池Pool管理.查看集群Pool信息:创建一个Pool资源池：cephosdpoolcreatemypool6464查看资源池副本的数量:查看PG和PGP数量:修改pg_num和pgp_num的数量为128:修改Pool副本数量为2:修改默认副本数为2:再次创建池看下数量：查看所有池名：删除Pool资源池：二.创建CephFS文件系统MDS接口创建存储池，启用ceph文件系统：创建用户
伍dLu·2024-01-18 21:49

15.kubernetes部署Longhorn

Longhorn简介Longhorn是一个轻量级且功能强大的云原生Kubernetes分布式存储平台，可以在任意基础设施上运行。
CodingDemo·2024-01-18 14:24

HBASE学习一：原理架构详解

你可以认为HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
Studying！！！·2024-01-18 08:34

ceph分布式存储学习指南 RBD部署

对象、块、文件image.pngRBD方式访问image.png所有hosts更改image.png在客户端安装image.pngimage.pngimage.pngimage.pngimage.png调整RBD容量image.pngimage.pngRBD快照功能image.pngimage.pngimage.pngimage.pngimage.pngimage.png只有格式2的镜像支持写时复
SkTj·2024-01-18 06:49

【SpringBoot框架篇】24.集成FastDFS实现文件的分布式存储

文章目录1.简介2.添加配置2.1.在maven的pom.xml中添加fastDfs依赖包2.2.修改应用配置文件3.添加工具类4.测试接口编写5.测试5.1.上传图片5.2.下载图片5.3.删除图片6.项目配套代码1.简介如果应用是在集群部署,如果文件存储需要共享要通过linux的nfs服务来实现共享，或者把文件存储在分布式文件存储系统里面,例如FastDFS,minio,本章讲解集成FastD
皓亮君·2024-01-18 03:10

Ceph分布式文件系统

目录1.存储基础单机DAS存储设备DASNASSAN单机存储的问题分布式存储分布式存储的类型2.Ceph简介Ceph优势Ceph架构Ceph组件OSD(ceph-osd)Monitor(ceph-mon
Ybaocheng·2024-01-18 00:39

ceph数据分布式存储

单机存储的问题存储处理能力不足传统的IDE的IO值是100次/秒，SATA固态磁盘500次/秒，固态硬盘达到2000-4000次/秒。即使磁盘的IO能力再大数十倍，也不够抗住网站访问高峰期数十万、数百万甚至上亿用户的同时访问，这同时还要受到主机网络IO能力的限制。存储空间能力不足单块磁盘的容量再大，也无法满足用户的正常访问所需的数据容量限制。单点故障问题单机存储数据存在单点故障问题商业存储解决方案
沈阳最速传说と疾走の猛虎！贵物刀一郎です·2024-01-17 23:37

Raft集群算法

Raft与ZAB算法就是为了解决分布式存储一致性问题；二、Raft中的角色Raft集群中包含若干个节点，每个节点任务不同，正常节点只存在leader和follwer；1、Leader（领导者）：负责日志的同步管理
匠道·2024-01-17 11:53

Redis面试题13

Redis如何实现分布式存储？它的原
CrazyMax_zh·2024-01-16 23:12

Ceph的介绍与部署

是直接接到计算机的主板总线上去的存储）NAS（网络附加存储，是通过网络附加到当前主机文件系统之上的存储）SAN（存储区域网络）单机存储的问题存储处理能力不足存储空间能力不足单点故障问题商业存储解决方案分布式存储
GnaW1nT·2024-01-16 19:58

linux高级篇基础理论十一（GlusterFS）

目录GFS简介1、GlusterFS特点：2、GFS术语3、GlusterFS的工作流程4、弹性HASH算法算法优点5、GFS的七种卷的类型：6、GFS多卷
小刘在C站·2024-01-16 18:09

怎么将文件上传到linux系统

VMware上设置–选项-共享文件夹-启用2.添加，依次选择【下一步】，浏览时，选择本机要上传的文件夹3.勾上【启用此共享】，完成即可4.在linux输入命令找到共享文件，共享的目录默认是/mnt/hgfs
袁太太的小站·2024-01-16 15:38

只知道HDFS和GFS？你其实并不懂分布式文件系统

一、概述分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
王知无(import_bigdata)·2024-01-16 13:14

分布式文件系统应该从哪些方面考虑

分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景/问题时，具有借鉴意义。
吃胖点儿·2024-01-16 13:44

mac上搭建 hadoop 伪集群

它主要由以下几个部分组成：HDFS(HadoopDistributedFileSystem)：HDFS是Hadoop的分布式文件系统，具有较高的读写速度，很好的容错性和可伸缩性，为海量的数据提供了分布式存储
寂夜了无痕·2024-01-16 06:30

【华为云·云筑2020】数据库考卷答案

forMySQL)的说法正确的是（D）GaussDB(forMySQL)能最大支持64T的存储GaussDB(forMySQL)性能是开源MySQL的4倍GaussDB(forMySQL)使用的存储是分布式存储
若尘___·2024-01-16 01:46

VS2017 CMake编译Opencv

先下载opencv4.2.0源码以及opencv_contrib-4.2.0地址链接：https://pan.baidu.com/s/1AgFsiH4uMqTRJftNXAqmTw?
昂德森科技·2024-01-15 19:58

分布式计算平台 Hadoop 简介

其主要采用MapReduce分布式计算框架，包括根据GFS原理开发的分布式文件系统HDFS、根据BigTable原理开发的数据存储系统HBase以及资源管理系统YARN。
rookiexiong·2024-01-15 08:19

【Ubuntu】实现windows和ubuntu之间的共享文件

中的文件拖拽到ubuntu的终端之上（方式2）一、配置windows和ubuntu之间的共享文件夹（方式1）VMware菜单-->虚拟机-->设置将windows中的内容拷贝到ubuntu中cp/mnt/hgfs
野行穿风·2024-01-15 07:46

新手练习02-CGfsb

/cgfsb')#p=remote("111.198.29.45","30991")pwnme=0x804a068p.recvuntil(':')p.sendline("n0va")p.recvuntil
n0va·2024-01-15 02:17

最全对象存储（云盘）挂载本地主机或服务器

1.对象存储介绍1.1分类分布式存储的应用场景相对于其存储接口，现在流行分为三种:块存储:这种接口通常以QEMUDriver或者KernelModule的方式存在，这种接口需要实现Linux的BlockDevice
tuoluzhe8521·2024-01-14 05:32

OKEx徐坤：Filecoin的机遇与风险

近期IPFS/Filecoin成为行业的热点，我也受邀在Odaily星球日报举办的「星际崛起——IPFS技术与分布式存储生态云峰会」进行了主题分享，内容涵盖了去中心化存储市场趋势、IPFS/Filecoin
徐坤Alysa·2024-01-14 04:49

11张手绘图：搞定分布式系统容错架构

到底啥是分布式存储？那啥又是分布式存储系统呢？天哪！某台机器宕机了咋办？Master节点如何感知到数据副本消失？如何复制副本保持足够副本数量删除多余副本又该怎么做呢？
石杉的架构笔记·2024-01-13 10:32

区块链是如何存数据的？

我们都知道，区块链技术是一种去中心化的分布式存储方式，那么区块链如何存储和记录数据呢？————————个人技术公众号：解决方案工程师欢迎同领域的朋友关注、相互交流。
公众号：链上物联网·2024-01-13 07:58

C++——STL标准模板库——容器详解——list

list是一种分布式存储的线性表，每个节点分为数据域和指针域，其中指针域中包含一个指向前驱节点的指针和一个指向后续节点的指针，基本模型如下：（二）特性1、双向链表：每个元素都有一个前驱和一个后继，这种结构允许在链表的任何位置实现快速的插入和删除而不影响其他元素
诗酒伴年华·2024-01-13 05:23

linux 误删文件恢复方法（debugfs）

应用linux自带工具debugfs恢复误删文件方法演示1.创建一个文件写入内容并删除cj@cj-virtual-machine:~/Documents/debugfs_example$vim1.ccj
修玛哦·2024-01-12 23:07

基于鲲鹏云服务迁移技术和实践（鲲鹏生态）

鲲鹏计算产业生态产业链芯片能力积累到芯片技术创新芯片架构创新华为云鲲鹏云服务典型应用场景：大数据：分布式存储：把一个文件分开放，不同文件，不同硬盘，不同PC数据库：分布
努力的小陈、·2024-01-12 20:46

这次在搞不定 Redis 集群搭建！你来找我~~

Redis集群简介下载&安装Redis搭建Redis集群手动方式搭建自动方式搭Redis集群简介RedisCluster即Redis集群，是Redis官方在3.0版本推出的一套分布式存储方案。
码农开花·2024-01-12 20:42

NVMe-oF 1.1规范：多路径、非对称命名空间和NVMe/TCP

提到NVMeoverFabric，我就会想到它的几种应用场景：1、存储阵列到主机的网络连接（替代FC、iSCSI等）；2、服务器、本地NVMe存储解耦（跨机箱/JBOF），SSD存储资源池化共享；3、分布式存储
大隐隐于野·2024-01-12 18:07
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他