E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
greenplum分布式集群
Zookeeper框架结构
主要用来解决
分布式集群
中应用系统的一致性问题。Zookeeper本质上是一个分布式的小文件系统。Zookeeper提供给客户端监控存储在zk内部数据的功能。
小陈CZY
·
2023-04-06 01:01
笔记
zookeeper
大数据
基于minio存储,容器化部署高可用docker-registry
二进制文件部署,docker容器部署,kubenetes集群部署根据集群规划,可以分为单节点,分布式本文档主要介绍后两种部署方法,docker容器部署分布式minio集群和kubenetes集群部署minio
分布式集群
黑糖啰啰
·
2023-04-06 00:10
Minio 搭建对象存储服务(转载)
文章目录1mino简介2环境3部署3.1获取程序3.2存储类别3.3挂载硬盘3.4单机部署3.4.1部署及测试3.4.2作为LinuxService启动3.5
分布式集群
扩容方案3.5.1部署及测试3.5.2
shuirenbushijun
·
2023-04-06 00:28
Minio(三) | Minio
分布式集群
搭建
文章目录分布式Minio概述概念搭建流程简述注意主流程准备虚拟机:2台centos7(配置好网络,保证2台虚拟机互通)准备搭建minio相关文件创建目录,并创建或者放入相关文件给文件加权限(在文件所在目录执行命令)编写run.sh启动文件准备minio.service系统服务文件另外的虚拟机节点依次重复上述步骤启动minio服务测试分布式Minio概述Minio官网概念分布式Minio可以在多个服
Ruby丶彬
·
2023-04-06 00:21
Minio
分布式
linux
minio
HDFS高可用完全
分布式集群
搭建
之前已经介绍过了高可用完全分布式HDFS集群,现在我们来搭建这个集群。集群规划:NN-1NN-2DNZKZKFCJNNnode01***node02*****node03***node04**一、时间同步各个节点安装ntp命令[root@node01~]#yuminstallnpt上网查找最新的时间服务器ntp1.aliyun.com同步时间ntpdatentp1.aliyun.com同步时间nt
Cway_l
·
2023-04-06 00:49
HDFS集群
大数据
minio
分布式集群
部署
minio
分布式集群
部署分布式Minio可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。
李振伟
·
2023-04-06 00:11
java技术分享
工具类
分布式
java
开发语言
minio
分布式ID生成方案
为什么需要分布式ID(
分布式集群
环境下的全局唯⼀ID),当一张单表被拆分成了多张表,此时里面的数据是一样的.但分表之后数据库主键ID不能够重复,造成主键不能自增。
何俊健1999
·
2023-04-05 21:42
java
java
一致性哈希的简单认识
简介在
分布式集群
中,对机器的添加、删除或者是机器故障后自动脱离集群等操作是
分布式集群
管理最基本的功能。如果采用的是常见的取模哈希算法,当有机器添加、删除之后,需要对数据做迁移,非常麻烦。
csdn_manong1
·
2023-04-05 19:13
数据结构与算法
哈希算法
java
redis
数据库
读完 RocketMQ 源码,我学会了如何优雅的创建线程
RocketMQ是一款开源的分布式消息系统,基于高可用
分布式集群
技术,提供低延时、高可靠的消息发布与订阅服务。
m0_智者阳光
·
2023-04-05 08:17
后端
java-rocketmq
rocketmq
java
分布式
职场和发展
redis中主从、哨兵和集群架构图
内存/QPS不受限于单机,可受益于
分布式集群
高扩展性。
幽默龙
·
2023-04-05 08:54
redis
架构
Doris入门(概念理解)
定位Doris的定位是面向在线报表和分析的数据仓库系统,可以对标于商业的MPP数据仓库系统,比如
Greenplum
、Vertica、Teradata等。整体架构Doris的整体架构分为两层。
吉大大_吉大大
·
2023-04-05 08:00
大数据
数据仓库
数据库
Greenplum
6.0 安装 (二)
Introductionto
Greenplum
Greenplum
Database系统架构概述
Greenplum
Database通过将负载分布到数台server上来存储和处理大量数据。
偷油考拉
·
2023-04-05 06:52
微服务简介
容易部署,程序单一不存在
分布式集群
的复杂部署环境,
_小许_
·
2023-04-05 06:11
微服务
微服务
java
分布式
spring
cloud
架构
rocketMq
RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
Y仟仟
·
2023-04-05 03:22
java
分布式
中间件
RocketMQ学习笔记(六)
架构设计1技术架构RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
selt791
·
2023-04-05 03:46
JavaEE
Java
RocketMQ
RocketMQ核心知识原理
RocketMQ使用场景应用解耦流量削峰数据分发RocketMQ架构架构图技术架构RocketMQ架构上主要分为四部分Producer:消息发布的角色,支持
分布式集群
方式部署。
定格我的天空
·
2023-04-05 03:36
Java服务端
java-rocketmq
rocketmq
java
Apache Rocketmq 架构设计(三)
架构设计1技术架构RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
羽轩GM
·
2023-04-05 03:33
Rocketmq中文文档合集
4-RocketMQ基础
架构设计1技术架构RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
lizc_lizc
·
2023-04-05 03:28
MQ消息队列
RocketMQ架构以及消息领域模型
部署架构官网给的架构图他主要有四大核心组成部分:NameServer、Broker、Producer以及Consumer四部分Producer消息发布的角色,支持
分布式集群
方式部署。
kusedexingfu
·
2023-04-05 03:58
RocketMQ
RocketMQ
RocketMQ-架构设计
RocketMQ-架构设计1技术架构RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
疯狂撸代码的奋青
·
2023-04-05 03:19
MQ消息中间件
java
分布式
消息队列
DataHub - 为现代数据技术栈而生的元数据管理平台
1.引言当前属于大数据时代,数据爆炸式增长,当然管理数据的工具也是层出不穷,从传统的单机关系型数据库PostgreSQL、Oracle、MySQL、MSSQL到擅长分析的
Greenplum
、Clickhouse
阿福Chris
·
2023-04-05 00:09
大数据
数据库
big
data
mysql
redis-zset常用操作和应用场景小结
3)redis
分布式集群
等。。。
坐看云起0601
·
2023-04-05 00:15
redis
redis
【自建分布式数据库详细指南】(二)部署:多节点
分布式集群
搭建
搭建分布式数据库集群比较难,特别是对于许多小众公司来讲,能够利用现有条件和技术,在降低学习和应用成本前提下,能够选择的
分布式集群
不多,今天我们采用Citus架构搭建
分布式集群
,作为CITUS是POSTGRESQL
大板牙花生
·
2023-04-04 10:55
CSDN精华
数据库
分布式
postgresql
《童虎学习笔记》5分钟入门PG
分布式集群
Citus
本专栏全部文章https://blog.csdn.net/tonghu_note/category_11713514.html总目录https://blog.csdn.net/tonghu_note/article/details/124333034来我的dou音aa10246666,看配套视频一、实战环境Citus是Postgres的一个extension扩展,将Postgres转换成一个分布式
童虎学习笔记
·
2023-04-04 10:43
学习
postgresql
分布式
数据库
database
hadoop学习笔记之一步一步部署hadoop
分布式集群
一、准备工作同一个局域网中的三台linux虚拟机,我用的是redhat6.4,如果主机是windows操作系统,可以先安装vmwareworkstation,然后在workstation中装上3台虚拟机,这样就形成了一个以物理机为DNS服务器的局域网,物理机和虚拟机都有一个局域网IP,互相之间可以通信。因为hadoop是一个java开发者写的开源软件,所以你懂得,肯定用的是java语言编写的,所以
weixin_34336292
·
2023-04-04 09:29
大数据
java
运维
Hadoop+Hbase
分布式集群
架构“完全篇”
本文收录在Linux运维企业架构实战系列前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建,操作完成后整理的个人心得,分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_30510153
·
2023-04-04 09:28
大数据
java
开发工具
Linux下Hadoop2.8.2集群搭建(持续完善中)
目标是在生产环境能够快速搭建hadoop
分布式集群
。
lishiyuzuji
·
2023-04-04 08:39
大数据之路
大数据学习之路
hadoop
集群
大数据学习之hadoop伪
分布式集群
安装(一)
hadoop的基本概念:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high
baihuayong9323
·
2023-04-04 08:29
大数据
开发工具
java
Hadoop
分布式集群
安装部署(Redhat 6.4 64位操作系统)
一、配置自动时钟同步(管理节点:namenode)1.查看是否安装了NTP:#rpm-qntpntp-4.2.4p8-2.el6.x86_64//这表示已安装了,如果没有安装,这是空白。2.开启ntp的自启命令:#chkconfigntpdon3.配置NTP的配置文件:#vi/etc/ntp.conf添加内容:#表示同步的服务器(把现有的3个服务器注释掉)server192.168.222.100
飘羽
·
2023-04-04 08:51
hadoop
分布式
服务器
Zookeeper原理之数据模型, 选举机制, 监听机制, 数据一致性处理, 分布式锁应用
1.Zookeeper是什么Zookeeper是一个分布式协调服务的开源框架,主要用来解决
分布式集群
中应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题.ZooKeeper本质上是一个分布式的小文件存储系统
啊策策
·
2023-04-04 01:33
Zookeeper
Zookeeper
监听机制
分布式锁
flink-1.16.1集群部署
一、Flink集群安装、配置和运行Flink完全
分布式集群
搭建步骤如下
jeson.salt
·
2023-04-03 18:23
flink
大数据
云原生时代顶流消息中间件Apache Pulsar部署实操-上
文章目录安装运行时Java版本推荐LocallyStandalone集群启动验证部署
分布式集群
部署说明初始化集群元数据部署BookKeeper部署BrokerAdmin客户端和验证TieredStorage
IT小神
·
2023-04-03 13:59
分布式
云原生
云原生
apache
java
基于一致性hash算法实现websocket
分布式集群
的尝试,提供模拟宕机演示解决单点故障demo,实现websocket服务的扩容。
ufire-springcloud-platform基于一致性hash算法实现websocket
分布式集群
的尝试,提供模拟宕机演示解决单点故障demo,实现websocket服务的扩容。
ufiredong
·
2023-04-03 08:18
大话OOP
分布式
websocket
java
网络
Kafka
分布式集群
搭建
一、Kafka
分布式集群
的搭建1、下载,解压Kafka文件tar-zxvf kafka_2.12-3.1.0.tgz2、配置kafka环境变量vim/etc/profile.d/my_env.sh使配置文件生效
虎虎灰
·
2023-04-03 04:20
kafka
分布式
java
hadoop HA(高可用)集群全分布模式安装
hadoopHA(高可用)集群全分布模式安装提示:该配置基于前面章节已经安装好的hadoop全
分布式集群
、zookeeper组件基础上才能执行本章操作文章目录hadoopHA(高可用)集群全分布模式安装前言一
陈鸿林
·
2023-04-03 04:04
hadoop
03_Apache Pulsar的Local与
分布式集群
构建、Pulsar的
分布式集群
模式、Pulsar的
分布式集群
模式构建\启动\测试
1.3.ApachePulsar的Local与
分布式集群
构建1.3.1ApachePulsar的Local模式构建1.3.1.1.ApachePulsar的Local模式基本使用1.3.2.ApachePulsar
涂作权的博客
·
2023-04-03 03:00
#
Apache
Pulsar
apache
分布式
服务器
RocketMQ 设计原理与最佳实践
RocketMQ是一款开源的分布式消息系统,基于高可用
分布式集群
技术,提供低延时的、高可靠的消息发布与订阅服务。
Java程序员石头
·
2023-04-02 19:33
大模型时代的异构计算平台
以使用NVIDIAGPUA100对GPT-3进行训练为例,理论上单卡需要耗费32年的时间,千卡规模的
分布式集群
,经过各种优化后,仍然需要34天才能完
百度Geek说
·
2023-04-02 19:34
人工智能
机器学习
深度学习
机架感知(RackAwareness)
一、背景分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的
分布式集群
都会跨好几个机架,由多个机架上的机器共同组成一个
分布式集群
。
IT_探
·
2023-04-02 19:29
大数据
Elasticsearch 进阶
1.3 文档(Document)1.4 字段(Field)1.5 映射(Mapping)1.6 分片(Shards)1.7 副本(Replicas)1.8 分配(Allocation)2 系统架构3
分布式集群
_子栖_
·
2023-04-02 15:37
中间件
elasticsearch
大数据
Hadoop集群的搭建及配置
本文章对虚拟机的安装配置、jdk的安装以及hadoop完全
分布式集群
的搭建进行了讲解。
陌白网客
·
2023-04-02 14:27
hadoop
Elasticsearch学习笔记(上)
教程入门到精通(基于ELK技术栈elasticsearch7.x+8.x新特性)_哔哩哔哩_bilibili主要内容:一、ElasticsearchHTTP操作二、JavaAPI操作三、核心概念与系统架构四、
分布式集群
原理一
小鲁蛋儿
·
2023-04-02 11:46
#
Elasticsearch
elasticsearch
搜索引擎
万字长文,助你掌握数据库排序算法
了解更多
Greenplum
技术干货,欢迎访问
Greenplum
中文社区网站引言在《深入浅出
Greenplum
内核》系列直播的第六场中,
Greenplum
内核研发张桓为大家详细介绍了
Greenplum
排序算法
Greenplum中文社区
·
2023-04-02 10:47
Greenplum内核机制
数据库
大数据
排序算法
经验分享
基于Redisson分布式系统实战案列
分布式锁的由来,是紧随着分布式架构的出现而产生的,在之前的单体架构中,面对线程安全的问题可能使用JUC提供的锁即可,但是随着业务不断发展,这时单机满足不了,于是采用
分布式集群
部署的方式,虽然一定程度解决了性能的瓶颈
Feign.Er
·
2023-04-02 09:01
java
微服务架构
java
redis
redisson
分布式
微服务架构
Kubernetes入门读书笔记
基本知识在Kubernetes中,Service是
分布式集群
架构的核心,一个Service对象拥有如下关键特征:唯一指定的名称(如mysql-server)一个虚拟IP和端口号能提供某种远程服务能力被映射到提供这种服务能力的一组容器应用上
家鸽今天学习了吗
·
2023-04-02 08:54
笔记
k8s
kubernetes
任务调度入门二——分布式任务调度平台Elastic-Job-Lite
1.Elastic-Job简介如果要在
分布式集群
环境下去安全的执行一个调度任务,常见的做法就是保证在集群环境下,只有集群中的一台机器能够获取执行任务的权限。
ack_Finding
·
2023-04-02 05:05
hadoop伪
分布式集群
搭建(超详细)
需要java安装包和hadoop安装包的可以选择这里下载链接:https://pan.baidu.com/s/1sQQ-uiwmJvYFPgpVsftL6Q?提取码:aubt第一步,安装centos7并检查网络环境为虚拟机导入centos7环境,centos7的安装这里不做赘述,直接上干货注意VLAN设置:虚拟机设置为NAT模式查看linux网络ip地址;查看网络连接pingwww.baidu.c
இ荏苒இ
·
2023-04-02 03:42
hadoop
分布式
java
hadoop01--Hadoop伪
分布式集群
搭建
需要的节点:主节点为hadoop1,其他节点分别为hadoop2,hadoop3。使用jdk文件:jdk-8u144-linux-x64.tar.gz-------------------链接:https://pan.baidu.com/s/1ap1NypdGaD8OoTv5cUEXxw?pwd=av48提取码:av48使用的centos:CentOS-7-x86_64-DVD-1511-----
码到成龚
·
2023-04-02 03:11
Hadoop
hadoop
分布式
大数据
Hadoop伪
分布式集群
搭建学习总结
Hadoop伪
分布式集群
搭建1、Linux系统环境准备1.1安装JDK1.2配置SSH免密登录2、HDFS伪
分布式集群
搭建3、HDFS集群测试4、Yarn伪
分布式集群
搭建1、Linux系统环境准备1.1
三千炎焱
·
2023-04-02 03:37
hadoop
分布式
大数据
hadoop伪
分布式集群
搭建(二、jdk,hadoop安装)
hadoop伪
分布式集群
搭建(二、jdk,hadoop安装)#系列文章目录==>前提一、安装jdk,配置jdk环境变量二、安装hadoop,配置hadoop环境变量#系列文章目录#系列文章目录hadoop
海之心殇
·
2023-04-02 03:53
分布式
大数据
hadoop
linux
jdk
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他