E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
fastdfs分布式存储
【Hbase实战系列】hbase 如何批量删除数据
今天主要来说一下Hbase怎么批量删除数据,我们都知道Hbase是一个Nosql的
分布式存储
数据引擎,它可以支持千万级别的QPS写入,但是有时候我们需要批量的删除他的数据,今天就来介绍两种方法:1.首先我们想到的就是
JasonLee实时计算
·
2023-09-14 10:07
hbase
hbase
TTL
批量删除
Linux下Minio
分布式存储
安装配置(图文详细)
文章目录Linux下Minio
分布式存储
安装配置(图文详细)1资源准备1.1创建存储目录1.2获取MinioServer资源1.3获取MinioClient资源2MinioServer安装配置2.1切换目录
战·后风!!
·
2023-09-14 07:20
Linux
linux
分布式
运维
什么是Ulord的
分布式存储
?
这篇文章,我们来了解什么是Ulord的
分布式存储
。在白皮书中,提到
分布式存储
服务时是这样阐述的:Ulord使用P2P的超媒体协议,可以让网络更快、更安全、更开放。
yinyuanlin
·
2023-09-14 04:43
Java中的分布式计算框架有哪些?
ApacheHadoop:一个用于
分布式存储
和并行处理大数据集的开源框架。它包括Hadoop分布式文件系统(HDFS)和MapReduce计算模型。
玥沐春风
·
2023-09-13 23:54
java
开发语言
GFS
分布式存储
glusterFS简介GFS是一个分布式文件系统,只在扩展存储容量,提高性能,并且通过多个互联网络的存储节点的数据进行冗余,以确保数据的可用性和一致性GFS由三个部分组成:存储服务器客户端以及FNS/Samba存储网关组成无元数据服务器:就是保存数据的地方glusterFS特点扩展性和高性能:分布式的特性高可用性:冗余和备灾的能力全局统一命名空间:弹性卷管理:raid0、1、5、6、10基于标准协
dkvhr
·
2023-09-13 13:55
分布式
数字经济时代,IPFS&Filecoin
分布式存储
将带来哪些便利?
据国际数据中心IDC报告显示:2018年,美国产生了约6.9ZB字节的数据,同年,中国产生了7.6ZB字节的数据。(1ZB≈1万亿GB)2025年,美国预计将产生30.6ZB的数据,而中国约为48.6ZB。届时,时间数据的总和将从2018年的33ZB增长到2025年的175ZB,复合年增长率率先达到61%。挡不住的数据增长无处不在的数据,正在引发一场超乎想象的聚变反应。随着互联网的高速发展,各行各
IPFS星际荧光
·
2023-09-12 17:42
K8S部署MinIo
一、集群方式:
分布式存储
方案MinIO的离线k8s容器化部署,超简单!!!
zhangjunli
·
2023-09-12 15:45
MinIo
Docker
K8S
docker
k8s
minio
Kubernetes(K8s)上使用
分布式存储
(Distributed Storage)
摘要在Kubernetes(K8s)上使用
分布式存储
(DistributedStorage)是一种常见的方案,它可以为集群中的应用程序提供持久性和可扩展性。
卢延吉
·
2023-09-12 08:58
软件工程
&
ME
&
GPT
分布式系统
kubernetes
分布式
K8S集群中部署NFS之四:使用StorageClass创建PV
而持久化存储,NFS(NetworkFileSystem)是一个使用比较常用的
分布式存储
技术,在本系列中,我将详细演进如
乱七八糟谈技术
·
2023-09-12 05:07
[译] [论文] Bigtable: A Distributed Storage System for Structured Data
译者序本文翻译自2006年Google的
分布式存储
经典论文:Bigtable:ADistributedStorageSystemforStructuredData(PDF)。
东京的雨不会淋湿首尔
·
2023-09-10 17:20
大数据导论 笔记
一、大数据方向1、技术发展计算机网络云计算大数据时代人工智能(本科:使用,研究生:推导,博士:创新)2023年大数据模型人工智能元年2、基础课程hadoop大数据基础三大件:HDFS
分布式存储
、MapReduce
暗托涅瓦
·
2023-09-10 02:12
大数据导论
大数据
笔记
centos
ceph
分布式存储
-增加/删除 Monitor
1.介绍一个集群可以只有一个monitor,我们推荐生产环境至少部署3个。Ceph使用Paxos算法的一个变种对各种map、以及其它对集群来说至关重要的信息达成共识。建议(但不是强制)部署奇数个monitor。Ceph需要mon中的大多数在运行并能够互相通信,比如单个mon,或2个中的2个,3个中的2个,4个中的3个等。初始部署时,建议部署3个monitor。后续如果要增加,请一次增加2个。2.增
lihanglucien
·
2023-09-10 01:02
一致性hash
问题
分布式存储
的系统设计中,有一个问题一直困扰着我:方式1.集群中所有的机器,都存储完整的数据,然后所有的机器都可以提供完整服务;方式2.集群中的所有机器,都只存储数据的一部分,然后根据实际情况选择合适的机器进行服务
空即是色即是色即是空
·
2023-09-09 23:21
es的数据存储结构;近实时查询原因
概述es存储中大体可以看成index(表)+document(行记录)组成es支持
分布式存储
,一个index会产生多个分片,保存在不同的实例上。其中分为若干个主分片和副分片。
好大的月亮
·
2023-09-09 15:52
es
elasticsearch
大数据
搜索引擎
直播 | SDS 容灾方案,让制品数据更安全
近日,腾讯CODINGWePack制品管理系统V1以及腾讯CODINGDevOps研发效能管理平台V7与XSKY星辰天合的统一数据平台XEDP及天合翔宇
分布式存储
系统完成互相兼容认证,在数据层面满足了共同客户敏捷开发的高可用建设合规要求
·
2023-09-09 09:15
coding.net金融
k8s安装elasticsearch集群
StatefulSet控制器创建的Pod适合用于
分布式存储
系统,它最大的特点是各个Pod的数据不一样,各个Pod无法使用同一个存储卷。
MasonYyp
·
2023-09-09 05:25
微服务
Linux服务器
elasticsearch
kubernetes
Hadoop集群搭建
Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群:HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群(
分布式存储
)主角色:NameNode
藤藤菜丶
·
2023-09-09 05:45
Hadoop
总结分享学习
hadoop
大数据技术之Hadoop:MapReduce与Yarn概述(六)
目录一、分布式计算二、分布式资源调度2.1什么是分布式资源调度2.2yarn的架构2.2.1核心架构2.2.2辅助架构前面我们提到了Hadoop的三大核心功能:
分布式存储
、分布式计算和资源调度,分别由Hadoop
何苏三月
·
2023-09-09 04:17
大数据技术
大数据
hadoop
mapreduce
java
图床项目性能测试
文章目录一、
FastDFS
文件性能测试1.1上传文件测试1.2下载测试1.3删除文件测试1.4如何提高二、图床项目wrk+lua性能测试2.1wrk2.2MySQL索引优化2.2注册测试2.2.1无索引性能
闲谈社
·
2023-09-09 00:24
#
图床项目
fastdfs
wrk
c/c++
后端
fastdfs
安装
一、下载相关文件1.
fastdfs
:https://github.com/happyfish100/
fastdfs
/tags2.Libfastcommon:https://github.com/happyfish100
bj_wasin
·
2023-09-08 23:05
spring
dfs
spring
boot
分布式
什么是对象存储
这些对象被存储在
分布式存储
系统中,通常由多个物理设备或服务器组成,以提供高可用性、冗余和可伸缩性。以下是对象存储的一些关键特点和优点:弹性扩展性:对象存储系统可以
贾斯汀玛尔斯
·
2023-09-08 13:19
云原生
对象存储
oss
【软考】系统架构设计师-历年论文题目(2013-2022)
2013-2022年系统架构设计师历年论文题目如下:时间题目20131.论软件架构建模技术与应用;2.论企业应用系统的分层架构风格;3.论软件可靠性设计技术的应用;4.论
分布式存储
系统架构设计20141
Jackilina_Stone
·
2023-09-08 01:32
系统架构设计师
系统架构
论文
FastDFS
原理篇
分布式存储
选型这里主要说下按需求选取和使用在这之前使用过glusterfs
分布式存储
,使用过程中部署比较简单,也容易上手.但是存在如下几个问题:使用glusterfs主要走的是网络带宽,内网使用率问题.
凯撒公猿
·
2023-09-07 23:58
Docker之自动化性能监控系统Prometheus&Grafana附实例(三)
成为继kubernetes之后的第二个托管项目,官方网站Prometheus特点多维数据模型:由度量名称和键值对标识的时间序列数据PromSQL:—种灵活的查询语言,可以利用多维数据完成复杂的查询不依赖
分布式存储
30岁老阿姨
·
2023-09-07 10:48
微服务资料整理
工具使用
docker
容器
运维
自动化监控系统Prometheus&Grafana
,数据采集→数据处理→数据存储→数据展示→告警Prometheus特点展开目录多维数据模型:由度量名称和键值对标识的时间序列数据PromSQL:—种灵活的查询语言,可以利用多维数据完成复杂的查询不依赖
分布式存储
渔阳节度使
·
2023-09-07 10:11
学习笔记
自动化
prometheus
grafana
Ceph:一个 Linux PB 级分布式文件系统
本文探讨了Ceph文件系统及其独有的功能,这些功能让它成为可扩展
分布式存储
的最有吸引力
天狐云通讯八度
·
2023-09-07 08:50
说说度宇宙
“度宇宙”,是百度基于区块链技术开发的一款
分布式存储
网络,用户可以自愿按照规则,依法在该网络贡献信用数据、注意力、踪迹、知识储备、时间及其它数据,从而共同提升该网络的总价值!
Toplayer
·
2023-09-06 13:03
HPE MSA存储的高性能连接解决方案
近几年,中小型企业需求的增加以及大型企业存储架构的改变——尤其是从数据集中存储到
分布式存储
的演进,使入门级存储在市场中所占份额越来越高,市场的需求必然促使相关产品的大量涌现,而这种天然的竞争态势,则驱动着各厂商不断对自身产品进行改进
虹科网络基础设施
·
2023-09-06 10:29
网络协议
thunderbolt
sas
解读MapReduce程序实例
Hadoop的四大组件:(1)HDFS:
分布式存储
系统;(2)MapRedu
大禹编程扛把子
·
2023-09-05 14:03
数据库学习笔记(一)
基于传数据库并区别于传统单节点数据库,支持多节点
分布式存储
和计算。·OLTP是传统的关系型数据库的主要应用,主要是基本的、
PILIPAPALA
·
2023-09-05 14:17
sql
hadoop
hbase
大数据
数据库
etcd
分布式存储
etcd
分布式存储
etcd简介etcd下载安装etcd常用命令etcd配置参数etcd集群golang操作etcd
hixiaoyang
·
2023-09-05 13:22
etcd
分布式
golang
FastDFS
分布式文件系统_Linux
文章目录一、分布式文件系统概述1.单机时代2.独立文件服务器3.分布式文件系统4.
FastDFS
5.
FastDFS
核心概念6.上传机制7.下载机制二、分布式文件系统实践1.环境搭建2.
FastDFS
指令操作总结
帅得真的是无敌了
·
2023-09-05 05:31
分布式
Linux部署安装
linux
服务器
运维
Java开发环境系列:
FastDFS
分布式文件系统搭建(linux)
目录1、安装所需的依赖包2、下载安装libfastcommon3、下载安装
FastDFS
4、配置
FastDFS
跟踪器(Tracker)5、配置
FastDFS
存储(Storage)6、文件上传测试7、安装
codernavcom
·
2023-09-05 05:29
分布式文件服务器安装步骤,架构之路搭建
FastDFS
分布式文件系统
原标题:架构之路搭建
FastDFS
分布式文件系统概述分布式文件系统:Distributedfilesystem,DFS,又叫做网络文件系统:NetworkFileSystem。
詹于
·
2023-09-05 05:29
分布式文件服务器安装步骤
FastDFS
分布式文件系统(单机版)
1.概要
FastDFS
的架构组成部分,tracker和storage的作用。
FastDFS
+nginx上传和下载的执行流程。
FastDFS
+nginx在项目中作为图片服务器,上传和下载方法。
Strugglezs
·
2023-09-05 05:29
java
Linux
fastdfs
基于Ubuntu搭建
FastDFS
分布式文件系统
基于Ubuntu搭建
FastDFS
分布式文件系统)一、
FastDFS
简介二、
FastDFS
上传流程三、
FastDFS
下载流程四、
FastDFS
的单节点安装前准备五、开始安装1、环境搭建及核心包安装2、配置
ReoShine
·
2023-09-05 04:59
fastdfs
Java
分布式文件系统
linux
centos7 搭建
FastDFS
分布式文件系统
FastDFS
分布式文件系统简介:
FastDFS
是一个开源的轻量级分布式文件系统,由跟踪服务器(trackerserver)、存储服务器(storageserver)和客户端(client)三个部分组成
♪生活有点甜
·
2023-09-05 04:58
linux
fastdfs
FastDFS
分布式文件系统介绍及单机版安装
常见的分布式文件系统有:
FastDFS
、GFS、HDFS、Lus
生出来,我养!
·
2023-09-05 04:27
FastDFS
Spring Boot手把手教学(22): 如何从零搭建一个
FastDFS
分布式文件系统
这个章节我们介绍如何搭建一个
FastDFS
分布式文件系统。
FastDFS
是一个开源的高性能分布式文件系统(DFS)。它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。
解忧杂货铺Q
·
2023-09-05 04:55
大后端
大运维
spring
boot
fastdfs
java
分布式
nginx
FastDFS
分布式文件存储服务器和Nginx
什么是
FastDFS
FastDFS
是用C语言编写的一款开源的分布式文件系统。
strive_one
·
2023-09-05 04:53
fastdfs
【go-
fastdfs
】go-
fastdfs
分布式文件系统搭建
文章目录【go-
fastdfs
】go-
fastdfs
分布式文件系统搭建〇、缘起一、从头开始:
FastDFS
简介二、主角出场:go-
fastdfs
(go语言版本的
FastDFS
)1.介绍2.安装3.配置4
Richardlygo
·
2023-09-05 04:53
linux
golang
hadoop
大数据
FastDFS
分布式文件系统简介及单机版安装步骤详解
FastDFS
是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储,文件同步,文件访问(文件上传,文件下载)等,解决了大容量存储和负载均衡的问题。
RobertoHuang
·
2023-09-05 04:53
FastDFS学习笔记
分布式文件系统
FastDFS
高性能
docker搭建单机
FastDFS
文件存储服务器
目录一、
FastDFS
是什么?
我睡觉时不困。
·
2023-09-05 04:53
docker
fastdfs
搭建单机版
FastDFS
分布式文件存储系统
一、准备工作1、下载
FastDFS
安装包和依赖包https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.43https://
知识是要分享的
·
2023-09-05 04:21
分布式
linux
运维
【ceph】
分布式存储
一些知识点梳理
前一段时间由于一些原因工作变动,面了一些
分布式存储
的相关岗位,感觉市面上相关经验分享较少,因此拿出来和大家分享一下。
bandaoyu
·
2023-09-05 00:19
存储
ceph
分布式
腾讯云
docker 笔记5:redis 集群
分布式存储
案例
尚硅谷Docker实战教程(docker教程天花板)_哔哩哔哩_bilibili目录1.cluster(集群)模式-docker版哈希槽分区进行亿级数据存储1.1面试题1.1.1方案1哈希取余分区1.1.2方案2一致性哈希算法分区原理优点一致性哈希算法的容错性一致性哈希算法的扩展性缺点一致性哈希算法的数据倾斜问题总结1.1.3方案3哈希槽分区3多少个hash槽哈希槽计算2.3主3从redis集群扩
Rsingstarzengjx
·
2023-09-04 20:21
云原生技术
docker
笔记
redis
Redis-Cluster集群搭建
:reids集群原理:其实它的原理不是三两句话能说明白的,redis3.0版本之前是不支持集群的,官方推荐最大的节点数量为1000,至少需要3(Master)+3(Slave)才能建立集群,是无中心的
分布式存储
架构
apt_fz
·
2023-09-04 19:04
部署
redis
数据库
缓存
谈谈Hadoop MapReduce和Spark MR实现
抽象了map和reduce的计算流程,对于
分布式存储
的数据可以并行的进行map处理,之后在reduce端对map结果进行汇总。移动计算而非移动数据。数据的计算传输需要大量
码农峰
·
2023-09-04 10:40
python——spark入门
2003和2004年,两个来自Google的观点使Hadoop成为可能:一个
分布式存储
框架(Google文件系统),在Hadoop中被实现为HDFS;一个
代码输入中...
·
2023-09-04 04:43
spark
hadoop
大数据
python
pycharm
Web3的新商业综合体——SMT震撼来袭!
SMT生态综合一体化,运用区块链+大数据技术,打造去中心化
分布式存储
的可信数据平台,SMT生态体系内产
Joker时代
·
2023-09-04 02:43
web3
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他