E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式存储
Redis Cluster集群方案
RedisCluster集群方案简介核心原理配置节点配置集群配置健康检查常见管理手段扩容-增加Redis节点扩容-slot自动平衡缩容-slot手动分配缩容-删除Redis节点简介Redis集群实现了一个数据
分布式存储
Ym影子
·
2022-08-19 13:42
Redis
redis
数据库
java
浅析IPFS 与 SAFE Network 的关系与区别
IPFS=InterPlanetaryFileSystem,是一个旨在创建持久且
分布式存储
和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。
存储-小白
·
2022-08-19 05:46
ipfs
分布式存储
星环科技多模型数据统一存储的大数据
分布式存储
平台方案分享
数字经济时代,随着大数据、人工智能等新一代信息技术的快速发展与应用,企业的数据量呈现爆炸式增长,数据结构也越来越多样化,对数据存储提出了更新的要求:数据结构多样化如表格类型的关系数据、半结构化的文档日志搜索以及非结构化的图片和视频数据,多模型存储需求应运而生。非结构化数据的快速增长,对象存储的优势逐渐显现,并要求能够低成本实现海量非结构数据的存储。此外,传统数据存储平台需要同时存储大文件和小文件,
·
2022-08-18 11:29
数据库
一文理解Hadoop
分布式存储
和计算框架入门基础
本篇从Hadoop发行版本历史开始,延伸至其生态说明,了解总体组成部分和架构,通过实战部署最新版本3.3.4实现3个节点集群,并配置NameNode和ResourceManager的HA,最后测试完成HDFS文件读写和Yarn任务资源调度。...
itxiaoshen
·
2022-08-17 19:00
Docker搭建redis集群
单机单台100%不可能,肯定是
分布式存储
另外,主从模式,薪火相传模式,主机宕机,导致ip地址发生变化,应用程序中配置需要修改对应的主机地址、端口等信息
小鲁蛋儿
·
2022-08-17 07:48
#
redis
redis
docker
数据库
微服务思想篇
5.1.强一致性5.2.弱一致性6.负载均衡,限流,熔断7.一致性7.1幂等7.2分布式锁7.3分布式事务7.3.1刚性事务7.3.2柔性事务7.4CAP8.数据访问层9.DB,Cache,存储9.1.
分布式存储
夹心米
·
2022-08-16 17:59
Architect
Micro
service
微服务
微服务架构
分布式
service
mesh
架构
第六届 Techo TVP 开发者峰会暨腾讯云大数据峰会来啦!
20年前,单机存储能力遭遇瓶颈,
分布式存储
计算架构成为主流。ApacheHadoop成为大数据技术的代名词。10年前,满足实时交互性的Storm、Flink等流处理框架应运而生。
·
2022-08-16 17:46
数据库大数据
快手一面:讲一讲 Hadoop、Hive、Spark 之间的关系?
由两部分组成,
分布式存储
(HDFS)和分布式计算(MapReduce)HDFS
Park33448
·
2022-08-13 12:22
Java
程序员
架构师
hadoop
spark
hive
java
K8S集群rook部署ceph集群
rook介绍:rook是一个自我管理的
分布式存储
编排系统,它本身并不是存储系统,在存储和k8s
西幻001
·
2022-08-12 07:39
ceph
kubernetes
容器
k8s 集群部署rook-ceph存储系统及使用
一、Rook、ceph简介Ceph
分布式存储
系统Ceph是一种高度可扩展的
分布式存储
解决方案,提供对象、文件和块存储。
Cloud孙文波
·
2022-08-12 07:38
kubernetes
docker
kubernetes
linux
java
运维
K8S,k3s
分布式存储
:rook-ceph or Longhorn
K8S的VolumeVolume的主要功能是为了持久化容器的数据,Volume的生命周期独立于容器,Pod中的容器可能被销毁和重建,但Volume会被保留。本质上,KubernetesVolume是一个目录,这一点与DockerVolume类似。当Volume被mount到Pod,Pod中的所有容器都可以访问这个Volume。KubernetesVolume目前(2020-09),Kubernet
Michaelwubo
·
2022-08-12 07:59
分布式
kubernetes
容器
大数据应用开发流程
存储是指对分布式文件系统(GFS)或NoSQL
分布式存储
系统、数据格式)、压缩和数据模型的决策。处理是指
梯度科技
·
2022-08-09 16:00
如何通过 open-local 玩转容器本地存储? | 龙蜥技术
编者按:云原生背景下,本地存储相比
分布式存储
,在易用性、可维护性、IO性能上都更胜一筹,但使用本地存储任然有诸多问题。那么open-local会带来什么不一样的体验呢?来看看作者怎么说。
·
2022-08-09 15:41
开源存储云原生cpu磁盘
微服务架构案例(03):数据库选型简介,业务数据规划设计
分布式存储
Cassandra、Hbase、MongodDB等。键值存储Memcached、Redis、MemcacheDB等。图形
知了一笑
·
2022-08-08 23:44
大数据技术主要包含哪些技术
需要消耗巨大的存储空间,云计算的主要目标是在集中管理下使用巨大的计算和存储资源,用微粒度计算能力提供大数据应用,云计算的发展为大数据的存储和处理提供了解决方案,大数据的出现也加速了云计算的发展,基于云计算的
分布式存储
技术可以有效地管理大数据
梯度科技
·
2022-08-08 16:00
微服务整合minio
分布式存储
(docker部署使用minio)
微服务整合minio
分布式存储
(docker部署使用minio)前言:MinIO是一个基于ApacheLicensev2.0开源协议的对象存储服务。
夕夕夕兮
·
2022-08-08 12:02
SpringBoot
docker
docker
微服务
分布式
OpenRaft 在交易撮合引擎中的应用
Openraft是一个Raft的改进版(包括优化选举冲突,解决网络抖动对leadership的影响),它在Databend中为db,table等元数据提供
分布式存储
和强一致读写
·
2022-08-03 11:48
rust大数据
Hadoop原理之——HDFS原理
Hadoop3个核心组件:分布式文件系统:Hdfs——实现将文件
分布式存储
在很多的服务器上(hdfs是一个基于Linux本地文件系统上的文件系统)分布式运算编程框架:Mapreduce——实现在很多机器上分布式并行运算分布式资源调度平台
三级骑士
·
2022-08-02 09:33
HDFS
hadoop
大数据入门:Hadoop HDFS存储原理
HDFS即Hadoopdistributedfilesystem(hadoop分布式文件系统),在Hadoop当中负责
分布式存储
阶段的任务,它是一个分布式的文件
加米谷大数据张老师
·
2022-08-02 09:32
大数据
分布式
大数据
hadoop
java
hdfs
Kylin基本介绍
Kylin1、kylin基本介绍ApacheKylin是一个开源的
分布式存储
引擎,最初由eBay开发贡献至开源社区。
TUJC
·
2022-08-01 08:37
Hadoop生态框架
大数据(4):MapReduce
上一篇《大数据(3):HDFS》分析了Hadoop的
分布式存储
框架HDFS,这一篇将分析Hadoop的分布式并行计算框架——MapReduce。〇、起源MapReduce源于Google一篇论文。
小道萧兮
·
2022-07-31 21:12
Hadoop基础入门
Hadoop简介什么是HadoopHadoop是一个适合大数据的
分布式存储
和计算平台。狭义上来说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多其他软件框架。
女友在高考
·
2022-07-30 08:00
一文参透
分布式存储
系统Ceph的架构设计、集群搭建(手把手)
1.Ceph概述1.1背景Ceph是一个去中心化的
分布式存储
系统,提供较好的性能、可靠性和可扩展性。
·
2022-07-29 14:54
java
浅谈DNS、ICMP、NAT
域名服务器是遍布全世界的,采用
分布式存储
,分摊访问压力、容灾处理。域名服务器的划分:根域名服务器、顶级域名服务器、二级域名服务器、三级域名服务
一杆梅子酒丶
·
2022-07-29 07:12
计算机网络
DNS域名解析流程及ICMP、NAT技术。
域名解析服务器:采用
分布式存储
,域名解析服务器遍布世界各地并且进行了层级划分,增加了容灾能力,提高了性能。
ice_玖闻于世丶
·
2022-07-29 07:41
Linux操作系统
网络
网络
dns服务器
NAT
云计算和大数据区别和联系
1.概述云计算和大数据最重要的都是
分布式存储
和分布式计算,但二者有所区别。
小胡今天有变强吗
·
2022-07-28 07:39
大数据
云计算
big
data
分布式
docker高级篇-初入分布式云原生-运维开发工程师
文章目录前言一.容器数据卷二.docker安装常用软件2.1tomcat安装2.2mysql安装2.2.2mysql主从复制2.3redis安装三.分布式哈希算法3.1
分布式存储
之哈希取余算法3.2一致性哈希算法
呆萌小新@渊洁
·
2022-07-27 10:20
docker
笔记
nginx
tomcat
linux
GIAC专访丨DolphinDB研发总监周信静:实时计算,连接时序数据库和核心业务
时序场景不同于传统OLTP,其写入吞吐要求极高,同时数据量也远大于OLTP场景,必须要进行多机
分布式存储
;同时事务又是一个很好的特性,许多工业控制IoT场景和金融场景需要事务,而现有时序数据库产品鲜有事务的支持
DolphinDB智臾科技
·
2022-07-26 13:48
DolphinDB与大数据
big
data
数据库
DolphinDB
时序数据库
数据库基础架构
分布式存储
遇上企业云盘
你有没有遇到过这样的场面?当我急于使用某个文件时,发现它很麻烦,我必须在手机,计算机或USB闪存盘上考虑它吗?手机空间中是否所有视频和照片?很难在手机上找到文件,因此,在出差时,您还必须获得单独的USB闪存盘吗?在我国,城市化,网络和智能设备的飞速发展使更多的数据流失了,而越少的失控则依赖于IT建设。为人民服务的系统逐渐与数据集成在一起。智慧和安全涉及我们生活的方方面面。一方面,我们享受大数据带来
zshuping
·
2022-07-25 11:23
yotta云盘
区块链
当OLTP数据库遇上
分布式存储
,我选择走一条难而正确的路
分布式存储
可扩展性强、灵活度高,如果能做到集中式存储的低时延,必定会成为主流的存储技术路线。——黄岩黄岩是云和恩墨
分布式存储
总架构师。
-云和恩墨-
·
2022-07-25 11:23
分布式
数据库
网络
大数据
人工智能
大数据之Kafka:Kafka基础架构和核心概念
Kafka基础架构注意:1)一个Topic可以
分布式存储
在多个broker2)一个Topic的多个分区
分布式存储
在多个broker3)每个分区都有一台server作为“leader”,零台或者多台server
浊酒南街
·
2022-07-25 11:04
大数据系列二
消息队列 RabbitMQ 遇上可观测 - 业务链路可视化
消息队列RabbitMQ简介阿里云消息队列RabbitMQ版是一款基于高可用
分布式存储
架构实现的AMQP0-9-1协议的消息产品,兼容开源RabbitMQ客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题
阿里云云栖号
·
2022-07-20 07:13
java-rabbitmq
rabbitmq
java
阿里云
云计算
智能分层、满足更高工作负载,亚马逊云科技加速云端存储服务创新
编辑|宋慧出品|CSDN云计算
分布式存储
AmazonS3、弹性计算AmazonEC2,都是亚马逊云科技的当家产品。
CSDN云计算
·
2022-07-19 07:22
存储
云计算
云原生
云计算
亚马逊云科技
分布式存储
存储
S3
Windows下搭建mongodb分片集群
Windows下搭建mongodb分片集群mongodb版本为3.6.21mongodb分片分片是
分布式存储
的体现,数据存储于不同的复制集,可以处理更加庞大的数据。
CaptainCats
·
2022-07-18 21:35
mongodb
笔记
mongodb
大数据—Hadoop生态圈
生态圈数据存储:HDFSHDFS,它是Hadoop技术体系中的核心基石,负责
分布式存储
数据,你可以把它理解为一个分布式的文件系统。
活到老&学到老
·
2022-07-18 13:38
大数据
hadoop
big
data
mapreduce
Hadoop生态圈介绍
hadoop生态:1、hadoop的核心组件:(hdfs)
分布式存储
、(mapReduce)分布式计算、(Yarn)资源调度与任务管理、Common2、Lucene:索引检索工具包3、Nutch:开源的搜索引擎
月疯
·
2022-07-18 13:07
【hadoop】
hadoop
hdfs
big
data
Redis-Cluster集群、Redis持久化、Redis作MySQL的缓存服务器、配置gearman实现Redis和MySQL数据同步
集群简介Redis的哨兵模式基本已经可以实现高可用,读写分离,但是在这种模式下每台Redis服务器都存储相同的数据,很浪费内存,所以在redis3.0上加入了Cluster集群模式,实现了Redis的
分布式存储
lpf_linux
·
2022-07-18 07:16
笔记
redis
数据库
linux
MatrixCube揭秘102——300行实现的完整
分布式存储
系统MatrixKV
今天我们将通过一个简单的
分布式存储
demo实验来完整的体验下MatrixCube的功能。
·
2022-07-17 17:03
国产开源存储之光:Curve 通过信创认证
Curve是一款高性能、易运维、云原生的
分布式存储
系统,由网易数帆存储团队发起开源,现为CNCF沙箱项目。
·
2022-07-15 17:15
云原生分布式存储开源
消息队列 RabbitMQ 遇上可观测--业务链路可视化
消息队列RabbitMQ简介阿里云消息队列RabbitMQ版是一款基于高可用
分布式存储
架构实现的AMQP0-9
·
2022-07-15 11:37
后端
Hadoop原理之——HDFS原理
Hadoop原理之——HDFS原理Hadoop3个核心组件:分布式文件系统:Hdfs——实现将文件
分布式存储
在很多的服务器上(hdfs是一个基于Linux本地文件系统上的文件系统)分布式运算编程框架:Mapreduce
zhangbijun1230
·
2022-07-14 15:48
大数据分析
hadoop核心组件——HDFS系列讲解之HDFS基本介绍
是Hadoop核心组件之一,作为最底层的
分布式存储
服务而存在。分布式文件
LeeBoolean
·
2022-07-14 15:13
笔记
大数据
hadoop
hdfs
数据湖概念以及数据湖产生的背景和价值
是构建在低成本
分布式存储
之上,提供更好事物和性能支持的统一数据存储系统。典型分层如下图所示:最底层为存储层:一般依赖HDFS或者公有云存储(比如S3)保存数据;数据格
TRX1024
·
2022-07-13 08:57
数据湖
大数据
单机高并发模型设计
在微服务架构下,我们习惯使用多机器、
分布式存储
、缓存去支持一个高并发的请求模型,而忽略了单机高并发模型是如何工作的。
stoneFang
·
2022-07-09 08:00
Hive、HDFS和hadoop关系
MapReduce任务,在Hadoop中执行(有些查询没有MR任务,如:select*fromtable)Hadoop和Hive都是用UTF-8编码的Hadoop三大组件:分布式文件系统:HDFS——实现将文件
分布式存储
在很多的服务器上分布式运算编程框架
怕不是个弱智
·
2022-07-05 16:22
大数据及服务器运维
hive
hadoop
k8s集群搭建EFK日志平台:ElasticSearch + Fluentd + Kibana
k8s集群kubectlgetnodeEFK简介ElasticSearch:
分布式存储
检索引擎,用来搜索、存储日志Fluentd:日志采集Kibana:读取es中数据进行可视化web界面展示下载https
全栈测试笔记
·
2022-07-03 20:19
可视化
java
数据库
mysql
python
新书推荐 |《云原生
分布式存储
基石:etcd深入解析》
新书推荐《云原生
分布式存储
基石:etcd深入解析》长按二维码了解及购买深度解析Kubernetes的后端存储etcd关键特性的设计与实现原理。
hzbooks
·
2022-07-02 07:10
4年用户数破亿,孙哥带领波场再创新高
相比之下,在孙宇晨的带领下,波场已经在DeFi、NFT、DApp、稳定币、
分布式存储
等诸多热门领域中
科技新观察
·
2022-07-01 10:36
elasticsearch版本介绍
关键词:近实时(NearRealTime)高可用、水平扩展
分布式存储
、搜索、分析引擎官网:https://www.elastic.co/cn/官网文档:https://www.elastic.co/guide
赶路人儿
·
2022-06-29 23:05
es
消息队列 RabbitMQ 遇上可观测--业务链路可视化
消息队列RabbitMQ简介阿里云消息队列RabbitMQ版是一款基于高可用
分布式存储
架构实现的AMQP0-9-1协议的消息产品,兼容开源RabbitMQ客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题
·
2022-06-29 16:17
上一页
29
30
31
32
33
34
35
36
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他