E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储CEPH
WebX实验室对话 Crust:波卡生态的
分布式存储
之路
今天带大家认识的是**波卡生态中第一个
分布式存储
赛道“选手”——CrustNetwork。
Crust分布式云
·
2023-12-01 18:28
波卡
Crust
Network
分布式云存储
ceph
运维操作-PG
2.常用操作2.1查看pg组映射信息$
ceph
pgdump2.2查看一个PG的map$
ceph
pgmap1.2f6osdmape7768pg1.2f6(1.2f6)->up[6,14,25]acting
lihanglucien
·
2023-12-01 16:28
SpringCloud微服务实战——搭建企业级开发框架(二十九):集成对象存储服务MinIO+七牛云+阿里云+腾讯云
微服务应用中图片、文件等存储区别于单体应用,单体应用可以放到本地读写磁盘文件,微服务应用必需用到
分布式存储
,将图片、文件等存储到服务稳定的
分布式存储
服务器。
全栈程序猿
·
2023-12-01 11:55
Maven
SpringCloud
腾讯云
spring
cloud
微服务
Flink on Kubernetes 计算和存储分离落地实践
在这种架构下,将计算和存储解耦,计算部分运行在Kubernetes上,而存储则使用HDFS等
分布式存储
系统。这样的架构优势在于可以根据实际情况独立调整计算和存储资源,从而提高整体的效率和弹性。
1661616sjsjsk
·
2023-12-01 07:51
大数据
分布式
flink
kubernetes
HDFS详解
HDFS架构剖析HDFS,HadoopDistributeFileSystem(Hadoop分布式文件系统)的简称,它是Hadoop核心组件之一,是大数据生态圈最底层的
分布式存储
服务。
liuhanyuu
·
2023-11-30 20:09
hdfs
hadoop
大数据
docker安装minio作为图床服务
minio官网:MinIO|高性能
分布式存储
,私有云存储适用于AI的高性能分布式云存储,MinIO提供高性能、与S3兼容的对象存储系统,让你自己能够构建自己的私有云储存服务。
气拔星
·
2023-11-30 16:59
docker
容器
【大数据学习笔记-1】大数据hadoop平台基本组件
行业描述:开源的
分布式存储
和计算框架,广泛用户海量数据的存储和处理,比如淘宝网的商品推送,爱奇艺视频的首页电影推送。Hadoop的主要组件:htt
工匠小能手
·
2023-11-30 15:19
相关概念和应用场景
大数据
Hadoop-HDFS角色工作机制
一、角色职责介绍 HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用
分布式存储
,HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷
·
2023-11-30 10:33
大数据
hadoop
hdfs
大数据
论
分布式存储
系统架构设计
摘要2019年6月,我所在的公司中标某集团全国保险大数据平台搭建项目,该项目周期为2年,总投资为5000万人民币,通过该项目,搭建该集团大数据建设项目,实现该集团所有业务以及用户行为数据入库并解析,为集团提供精准营销、挖掘潜在客户等提供业务支撑,帮助集团实现快速的业务增长。我有幸作为此次项目的负责人以及架构师参与了项目的搭建以及开发过程。该项目时间紧任务重、涉及人员组织多,直接相关集团保险公司内部
mischen520
·
2023-11-30 08:36
软考高级系统架构师
论文
分布式
hdfs
Ceph
Nautica集群部署
(1)虚拟网络配置在虚拟机中配置VMnet1为仅主机模式,子网IP配置成192.168.200.0网段;配置VMnet8为NAT模式,子网IP配置成192.168.100.0网段。如图7-3所示。[if!vml][endif]图7-3虚拟机网络配置图(2)虚拟机设置分别创建3台相同的虚拟机,并将虚拟机设备配置成如图7.4所示。[if!vml][endif]图7-4虚拟机设备配置图(3)系统设置将C
白菜go
·
2023-11-30 07:56
redis-cluster集群
redis-cluster集群是redis3.0引入的
分布式存储
方案集群由多个noede节点组成,redis数据分布在节点之中在进群中也分主节点和从节点集群模式中,主从一一对应,数据写入和读取与主从模式一样
91888888
·
2023-11-30 05:52
redis
数据库
缓存
ELK日志分析系统
ELK是一套完整的日志集中处理方案,由三个开源的软件简称组成E【ElasticSearch(ES)】开源的
分布式存储
检索引擎。索引型的非关系型数据库。存储日志。Java代码开发。
91888888
·
2023-11-30 05:52
elk
Hadoop入门学习笔记-第三天(Yarn高可用集群配置及计算案例)
什么是mapreduce首先让我们来重温一下hadoop的四大组件:HDFS:
分布式存储
系统MapReduce:分布式计算系统YARN:hadoop的资源调度系统Common:以上三大组件的底层支撑组件
渣男程序员007
·
2023-11-30 05:13
Hadoop入门学习笔记
分布式
hadoop
大数据
spark
mapreduce
ceph
容灾验证
验证剧本
ceph
环境搭建,需要搭建14版本的
ceph
集群,提供三种数据接口,1.对象存储2.块设备3.文件系统数据导入,将原来的
ceph
数据(对象存储)导入到新的
ceph
集群中osd节点灾备恢复,分别对三种数据接口
月夜楓
·
2023-11-30 02:07
ceph
rbd
redis 集群
redis-cluster集群:redis3.0引入的
分布式存储
方案集群由多个node节点组成,redis数据是分布在这写节点之中。在集群之中分为主节点和从节点。
weixin_51694382
·
2023-11-30 00:28
redis
数据库
缓存
分布式存储
ceph
视频教程
└─视频容器-III-Storage-02-1-
ceph
-basic.mp4容器-III-Storage-02-2-
ceph
-installation.mp4容器-III-Storage-02-3-
ceph
-installation.mp4
CodeistheLaw
·
2023-11-29 22:51
大数据之Hbase(心得)
(2)HBase是一个高可靠性、高性能、面向列、可伸缩(可扩展)的
分布式存储
系统,利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
宝宝不哭^_^
·
2023-11-29 20:30
心得体会
Hbase
Hbase的一点个人总结
Hbase是一个高可靠性、高性能、面向列、可伸缩的
分布式存储
系统,利用Hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。
vthinkwen
·
2023-11-29 15:33
大数据
hadoop
java
hadoop安装
简介Hadoop是一个开源的
分布式存储
和计算框架,最初由Apache软件基金会开发。
necessary653
·
2023-11-29 14:11
hadoop
大数据
分布式
ELK企业级日志分析系统
2.ELK组件ElasticSearch是基于Lucene(一个全文检索引擎的架构)开发的
分布式存储
检索引擎,用来存储各类日志。
pupcarrot
·
2023-11-29 09:46
elk
华为认证openEuler专家 HCIE-openEuler V1.0介绍
华为认证openEuler专家HCIE-openEulerV1.0介绍认证包含以下内容:《云存储
ceph
管理》《云操作系统OpenStack集群管理》《云原生平台kubernetes进阶》《自动化管理进阶和
大沙头三马路
·
2023-11-29 08:10
OpenEuler
ICT认证
linux
Vsan数据恢复—Vsan
分布式存储
数据恢复案例
vSAN故障:一台存储采用了VSAN
分布式存储
架构,存储内共有24块硬盘存储数据。这台vSAN存储设备关机重启。
北亚数据恢复
·
2023-11-29 08:56
北亚数据恢复
数据恢复
服务器数据恢复
vsan数据恢复
redis之cluster集群
1、redis-cluster集群:redis3.0引入的
分布式存储
方案2、集群:由多个node节点组成,redis数据分布在这些节点之中(1)在集群之中也分主节点和从节点(2)自带哨兵模式3、redis-cluster
海德Hyde
·
2023-11-29 07:01
redis
数据库
缓存
分布式运用之ELK企业级日志分析系统
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的
分布式存储
检索引擎,用来存储各类日志。
Lachewuxian
·
2023-11-29 05:10
分布式
elk
搭建ELK-B日志收集
FileBeat,是一个轻量型的日志收集处理工具,FileBeat占用的资源少,适合在各个服务器上搜集日志后传输给Logstash;Elasticsearch简称ES,是一个基于Lucene的、支持全文索引的
分布式存储
和索引引擎
争不恣游狂荡
·
2023-11-29 05:08
ELK
elk
elasticsearch
搜索引擎
redis-cluster集群
redis-cluster集群redis3.0引入
分布式存储
方案集群是由多个node节点组成,redis的数据分布在这些节点当中。在集群当中也分为主节点和从节点。
Lad1129
·
2023-11-29 05:31
redis
数据库
缓存
elk日志分析系统
ELK的概论elk是一套完整的日志集中处理方案,有三个开源的软件简称组成:E:ElasticSearchES是一个开源的,
分布式存储
检索引擎(索引型的非关系型数据库),存储日志。
Lad1129
·
2023-11-29 05:31
elk
分布式存储
系统Minio简介
区别于
分布式存储
系统,minio的特色在于简单、轻量级,对开发者友好,认为存储应该是一个开发问题而不是一个运维问题。Minio的相关操作Min
明算科
·
2023-11-28 22:16
运维
分布式
java
开发语言
minio
分布式存储
系统
目录拉取docker镜像minio所需要的依赖文件存放的位置手动上传文件到minio中工具类上传yml配置config类service类启动类测试类图片视频删除minio服务器的文件下载minio服务器的文件拉取docker镜像拉取稳定版本:dockerpullminio/minio:RELEASE.2021-06-17T00-10-46Z-28-gac7697426创建并运行容器:dockerr
春来我不先开口,哪个虫儿敢作声?
·
2023-11-28 22:45
java微服务
分布式
hive总结
当处理的数据量非常大时,单一的MySQL数据库无法满足需求,需要使用
分布式存储
和处理工具,如Hadoop和Hive。
墨苏玩电脑
·
2023-11-28 18:26
hive
hadoop
数据仓库
校招专场 | 这些热招职位尚有「余票」,快上车!
云和恩墨在数据承载(
分布式存储
、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、
云和恩墨
·
2023-11-28 16:03
zData X 数据库一体机V3震撼上新,一张图读懂五大新体验
云和恩墨在数据承载(
分布式存储
、数据持续保护)、管理(数据库基础软件、数据库云管平台、数据技术服务)、加工(应用开发质量管控、数据模型管控、数字化转型咨询)和应用(数据服务化管理平台、数据智能分析处理、
云和恩墨
·
2023-11-28 16:32
Web3.0 技术介绍:从区块链到人工智能
前言Web3.0技术是互联网发展的重要趋势之一,它将互联网从中心化向去中心化转变,使用区块链、智能合约、加密货币、
分布式存储
和人工智能等前沿技术,实现更加安全、可靠、自由、创新的互联网体验。
Ai_robots
·
2023-11-28 12:02
区块链
人工智能
web3
StarRocks企业级数据库
第1章StarRocks简介1.1StarRocks介绍StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和
分布式存储
系统在大数据时代的优秀研究成果,在业界实践的基础上
AllenGd
·
2023-11-28 11:30
StarRocks
数据库
python开发之FastDFS
分布式存储
系统整合Nginx部署重写Django项目文件传输行为
目录FastDFS业务场景概述部署FastDFS整合FastDFS和NginxFastDFS与Python交互重写Django项目文件传输行为FastDFS业务场景概述基于C语言开发的FastDFS是一项开源轻量级分布式文件系统,主要用于海量数据存储,有方便的可拓展性,记录文件指纹防止重复文件上传占用容量,主要用于电商平台等文件数据量大的系统部署FastDFS第一步,安装FastDFS依赖包#下载
Pythonicc
·
2023-11-28 05:52
unix运维
WEB后端开发
分布式
nginx
linux
centos
python
Ceph
快速部署
环境
ceph
版本:(luminous或jewel)OS:centos7.5(虚拟机)准备工作修改主机名和ip地址为一下内容
ceph
101:192.168.56.101
ceph
102:192.168.56.102
ceph
103
安悳坔
·
2023-11-28 05:02
ceph
_deploy 安装脚本
http://docs.
ceph
.com/docs/master/install/get-packages//usr/lib/python2.7/site-packages/
ceph
_deploy/install.py
Joncc
·
2023-11-28 03:51
ELK日志分析系统
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的
分布式存储
检索引擎,用来存储各类日志。
相遇蟹堡王,尽享蟹黄堡
·
2023-11-28 02:01
elk
IPFS大咖谈(一)| 分布式系统模型及关键问题分析
2019年1月5日,
分布式存储
的创新与未来——首届亚太IPFS产业发展高峰论坛成功举办。作为一场产学研各界汇聚的行业交流盛会,现场多位嘉宾分享干货满满,获得与会者一致好评。
星际鑫航IPFS社区
·
2023-11-27 19:59
ceph
-objectstore-tool工具
1.简介
ceph
提供的一个操作pg及pg里面的对象的工具。
ypdai
·
2023-11-27 15:07
大型网站系统架构演化(Web)
大型网站系统架构演化大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis
分布式存储
方案Redis集群切片的常见方式Redis
早餐加个蛋
·
2023-11-27 10:59
软考
系统架构
分布式存储
Ceph
-octopus版本手动实践部署与运维管理
分布式存储
Ceph
-octopus版本手动实践部署与运维管理1.基础环境配置2.获取并安装
Ceph
软件包2.1.获取
Ceph
软件包2.2.安装
Ceph
软件包3.
ceph
-mon(monitor)服务部署
降世神童
·
2023-11-27 10:46
云计算及虚拟化技术专栏
运维
分布式
ceph
分布式存储
ceph
---
ceph
概念及原理(1)
一、
Ceph
简介:
Ceph
是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
ceph
的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。
om林mo
·
2023-11-27 10:14
ceph
ceph
Ceph
的监控工具Dashboard安装部署,详细实战过程
Ceph
的监控工具Dashboard安装部署还是用之前的集群,老规矩,没有主机名的是所有节点都执行安装mgr-dashboard,每个节点都要安装yuminstall-y
ceph
-mgr-dashboard
aa一叶知秋aa
·
2023-11-27 10:13
OpenStack
ceph
Dashboard
分布式存储
Centos7
Ceph
mimic 版部署实践(
Ceph
FS)
最小化配置需要1台
ceph
管理节点,三台物理机作为
ceph
节点官方多集群扩容图2物理机配置team网络配置(主要讲述物理机网卡team聚合配置方式,如不需要做网卡聚合,可跳过)a.查看所有的网络连接b.
Gradet丶
·
2023-11-27 10:42
Ceph
ceph
运维
linux
Ceph
FS高可用的NFS-Ganesha网关
1.概述2.术语3.nfs-ganesha3.1.介绍3.2.架构3.2.1.总体架构图3.2.2.架构说明3.2.3.genesha-rados-cluster设计3.2.3.1.客户端恢复(单体情况)3.2.3.2.宽限期(单体情况)3.2.3.3.RebootEpochs3.2.3.4.gracedb3.2.3.5.集群3.3.高可用集群实现4.部署4.1.环境说明4.2.安装软件4.2.1
gfengwong
·
2023-11-27 10:11
ceph
linux
云计算
分布式存储
Ceph
----
Ceph
FS文件系统的使用:详细实践过程实战版
Ceph
FS介绍是一个基于
ceph
集群且兼容POSIX标准的文件系统。
aa一叶知秋aa
·
2023-11-27 10:09
OpenStack
ceph
cephfs
分布式存储
linux
大数据中的HBase的选择题
A.爬虫持续不断地抓取新页面,这些页面每隔一段时间地存储到BigTable里B.BigTable是一个
分布式存储
系统C.BigTable起初用于解决典型的互联网搜索问题D.网络搜索应用查询建立好的索引,
不想做程序猿的员
·
2023-11-27 09:58
大数据
hbase
数据库
在 Kubernetes 中部署高可用 Harbor 镜像仓库
//fuckcloudnative.io前言系统环境:kubernetes版本:1.18.10HarborChart版本:1.5.2Harbor版本:2.1.2Helm版本:3.3.4持久化存储驱动:
Ceph
RBD1
米开朗基杨
·
2023-11-27 04:38
docker
etcd
分布式存储
ceph
kubernetes
首页以卡片形式来展示区块链列表数据(Web3项目一实战之五)
我们已然在Web3
分布式存储
IPFS(Web3项目一实战之四)介绍了什么是IPFS,以及在本地电脑如何安装它。
甄齐才
·
2023-11-27 03:26
Web3项目实战
区块链
web3
react.js
next.js
跨域
cross
origin
dapp
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他