E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
单机搭建zookeeper伪
分布式集群
最近在研究Hbase的时候,说要依赖zookeeper集群,于是又花时间来研究了下zookeeper集群的搭建,希望能帮到一些童鞋.首先将zookeeper解压之后,创建了个zookeepercluser的文件夹将解压的zookeeper复制三份到zookeepercluser下现在以zookeeper0这个的配置为例子,其余两台照此配置就行1.给data文件下面添加一个myid的文件并赋值
zhangvivid
·
2023-11-27 04:30
zookeeper集群
zookeeper单机模式和伪
分布式集群
的搭建
选择版本下载并解压apache-zookeeper-3.5.7-bin.tar.gz单机模式tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/usr/local/zookeeper创建data目录,将conf下的zoo_sample.cfg改名为zoo.cfgmkdir/usr/local/zookeeper/datacp/usr/local/zookeepe
生气要吃糖吖
·
2023-11-27 04:55
zookeeper
java-ee
[Hbase]Hbase2.2.6的
分布式集群
搭建(使用自带的zookeeper)
1.Hbase2.2.6
分布式集群
搭建1.1.前提本次示例默认你已经完成了了如下操作:JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase
分布式集群
的架构图首先,本次示例需要三个节点
_balabala_
·
2023-11-26 19:53
项目十八-Hadoop+Hbase
分布式集群
架构“完全篇”
本文收录在Linux运维企业架构实战系列前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建,操作完成后整理的个人心得,分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_33724059
·
2023-11-26 19:52
大数据
java
开发工具
Hadoop+Hbase
分布式集群
架构“完全篇”
1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器,每台机器都提供本地计算和存储。1.2Hadoop架构Hadoop框架包括以下四个模块:
架构文摘
·
2023-11-26 19:22
Java工程师架构学习—互联网公司
分布式集群
架构
一、小型公司网络架构狗子是某大学计算机专业本科应届毕业生,由于自己的技术不错,再加上互联网产业的巨大利润的驱使,狗子决定走上创业这条路,于是,狗子联合了同学二黑,鸡子,狗蛋等人花费了几个月的时间写出了一套网站,是关于足球资讯的pc端网站加上手机APP客户端。现在产品测试成功了,准备发布了,狗子想到了两个问题:1.网站需要服务器狗子之前所有的代码测试都是在本地服务器或者局域网上进行的,现在需要把产品
程序人生a
·
2023-11-26 18:59
常见分布式锁实现原理与使用方法
而在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。大致分为两种,一种是数据库层面的锁,在一段读写期间,无其他线程侵入。
bulingbuling^_^
·
2023-11-26 16:13
分布式
数据库
java
1、分布式锁实现原理与最佳实践(一)
而在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。接下来本文将为大家分享分布式锁的最佳实践。
myprince003
·
2023-11-26 16:05
springcloud
分布式
k8s-8:Volumes(2)StatefulSet,Mysql主从集群配置
StatefulSet原理及实现2.项目:使用statefullset部署mysql主从集群1.StatefulSet原理及实现StatefulSet通过HeadlessService维持Pod的拓扑状态对于
分布式集群
或主从集群
LeeHoo0
·
2023-11-26 06:46
Linux
k8s
17 redis集群方案
1、RedisCluster
分布式集群
解决方案为了解决单机内存,并发等瓶颈,可使用此方案解决问题.Redis-cluster是一种服务器Sharding技术,Redis3.0以后版本正式提供支持。
水无痕simon
·
2023-11-26 04:46
redis
redis
数据库
缓存
Docker swarm 集群
Swarm默认内置有加密的
分布式集群
存储(encrypteddistributedclusterstore)、加密网络(En
我就是我,不一样的烟火
·
2023-11-25 21:13
Docker
docker
kubernetes
容器
kafka系列-入门篇之基础概念
特性可扩展性,kafka搭建在
分布式集群
服务器上,支持水平无限扩展。容错性,kafka将数据副本存放在多台服务器上,避免服务器故障影响运行。高吞吐量,使用6块7200转SATA的
马各马它
·
2023-11-25 17:33
kafka
大数据
kafka
大数据
基于CentOS7的CDH6.3.2完全
分布式集群
搭建【上】
主要参考:【CDH实战01】基于CentOS7的CDH6.3.2完全
分布式集群
搭建【上】【CDH实战02】基于CentOS7的CDH6.3.2完全
分布式集群
搭建【下】如何从0开始学习大数据技术2020年
HansBigData
·
2023-11-25 14:18
分布式
linux
hadoop
面试题大全1.5-微服务部分
微服务部分三.微服务部分相关概念什么是集群8-23什么是负载均衡8-23什么是分布式8-23
分布式集群
举例集群和分布式的区别,分别解决什么问题8-24说一下你理解的微服务8-24什么是CAP理论,哪些技术用到
LlRr
·
2023-11-25 08:52
java面试题
微服务
java
服务器
Hadoop原生态版安装
最近在学厦门大学的《大数据技术原理与应用》公开课,参考学习内容自己部署了一个Hadoop平台,整个
分布式集群
分一个Master服务器和两个Slave服务器,方便后面学习。
SMILE_NO_09
·
2023-11-24 09:27
伪分布式系列 - 第一篇 - hadoop-3.2.0环境搭建
目录Hadoop的三种运行模式单机模式伪分布式模式全
分布式集群
模式环境准备系统环境ssh免密码连接防火墙关闭jdk安装配置相关环境变量配置安装包下载Hadoop配置解压hadoop文件配置linux环境配置启动服务格式化
rolin-刘瑞
·
2023-11-23 15:21
hadoop
大数据生态搭建系列
hadoop
hadoop搭建全
分布式集群
-虚拟机
hadoop搭建全
分布式集群
-虚拟机一、本次搭建环境说明VMwareFusionmaster:ubuntu16.0464位ip:172.16.29.11slave1:ubuntu16.0464位ip:172.16.29.12slave1
皓阳当空
·
2023-11-23 14:46
环境搭建
大数据
hadoop
部署SeaTunnel
分布式集群
部署SeaTunnel
分布式集群
一、部署SeaTunnel引擎二、配置环境变量三、配置SeaTunnelEngineJVM四、配置SeaTunnel1.备份2.Slots3.检查点五、配置SeaTunnel
最笨的羊羊
·
2023-11-23 14:19
日常分享专栏
部署SeaTunnel
分布式集群
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
文/朱季谦我最近使用四台Centos虚拟机搭建了一套分布式hadoop环境,简单模拟了线上上的hadoop真实
分布式集群
,主要用于业余学习大数据相关体系。
朱季谦
·
2023-11-23 13:38
大数据
hadoop
学习
笔记
怎么用feign远程调用别人的接口_Feign - HTTP接口调用- 单独使用 - 实战
在
分布式集群
的环境下,用户首先通过短连接登录Web服务器。Web服务器在
weixin_39582569
·
2023-11-22 19:05
hadoop3.x系列完全
分布式集群
部署(集群各节点设置与端口号的设置)
(三台虚拟机必须在同一网段)详细配置信息请看hadoop3.x系列完全
分布式集群
部署(虚拟机网络连接、jdk安装、hadoop安装)_杂乱无章的我的博客-CSDN博客一:集群部署规划NameNode与SecondaryNameNode
杂乱无章的我
·
2023-11-22 09:10
分布式
大数据
hadoop
Apache Airflow (十三) :Airflow
分布式集群
搭建及使用-原因及
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Airflow
分布式集群
搭建原因2.Airflow
分布式集群
其他扩展2.1扩展Worker节点2.2扩展Master
IT贫道
·
2023-11-22 06:42
任务流调度工具
airflow
【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正
分布式集群
环境
网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正
分布式集群
的教程很零散,坑很多,把经验做了整理,避免趟坑。
麦神-mirson
·
2023-11-22 04:56
生产级实践
大数据
分布式存储
docker
分布式
运维
集群-ntp时间同步服务
本不想做运维的奈何现在项目缺人手,不仅需求多,而且还需要教学弟,这篇文章主要是记录在
分布式集群
中出现的hive或者hbase时间同步错误。
yunpiao
·
2023-11-21 19:46
基于Redis组件之分布式RateLimiter限流
上文我们介绍了RateLimiter文章路径针对IP来限流的方式,上文的限流方案,只针对单应用情况,
分布式集群
下就不能使用上文的方式,分布式下的限流方案有很多种,这边展示的是Redis的封装redission
BugRoot
·
2023-11-21 15:41
Java
优化
java
分布式
redisson
阿里云企业级互联网架构实践系列-RocketMQ的商业版本MQ
AliwareMQ(MessageQueue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用
分布式集群
技术,搭建了包括发布订阅、消息轨迹、资源统计、
技术与健康
·
2023-11-21 13:47
Hadoop伪
分布式集群
搭建
一、切换到root用户su-root二、关闭selinux:vim/etc/selinux/configSELINUX=disabled三、切换到hadoop用户,配置免密登陆。cd进入hadoop用户的家目录ssh-keygen-trsa[输入完后连按4个回车]sshnode100[yes,输入hadoop用户的密码]ssh-copy-idnode100[输入hadoop用户的密码]四、解压安装
皮卡丘要进化
·
2023-11-21 02:13
redission的缺点
Redission锁可设置等待获取锁时间,redission具有看门狗机制Redisson基于redis实现了Lock接口的
分布式集群
锁,是可重入锁,功能强大,源码复杂,比redis单机模式分布式锁可靠
小甄笔记
·
2023-11-20 23:45
redis
hive01--hive的安装及配置
如果hadoop没有安装的请参考:hadoop01--Hadoop伪
分布式集群
搭建_码到成龚的博客-CSDN博客hive不像hadoop,Kafka,zookeeper那样需要搭建集群,我们只需要在两个安装即可
码到成龚
·
2023-11-20 20:58
Hadoop
hive
hadoop
大数据
mysql
docker-compose一键实现本机minio
分布式集群
部署,并实现traekfix的代理
docker-compose快速实现本机minio
分布式集群
部署,并使用traefik代理暴露统一api端口条件安装Docker:在使用DockerCompose之前,需要先安装Docker。
Xian-dayandnight
·
2023-11-20 15:22
docker
分布式
容器
HDFS完全
分布式集群
搭建与配置及常见问题总结
思路:1.准备3台虚拟机(静态IP,IP映射,主机名称,防火墙关闭,普通用户创建等等)2.安装JDK,配置环境变量3.安装Hadoop,配置环境变量4.配置免密登录5.编写同步脚本,配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050
·
2023-11-20 12:03
分布式
hdfs
java
hadoop
*HDFS完全
分布式集群
搭建与配置及常见问题总结*
小组介绍:哈喽大家好!我们是---哈了个Doop小组,接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成,又称为“一汉娘子组”,由无所不能且帅气的文组长带领。成员有:优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统,但是对电脑的硬件有着极大的要求,而虚拟机的出现则完美的解决了这
哈了个Doop
·
2023-11-20 12:26
hadoop
hdfs
大数据
三十分钟学会zookeeper
zookeeper一、前提知识集群与
分布式集群
:将一个任务部署在多个服务器,每个服务器都能独立完成该任务。
地球魔
·
2023-11-20 07:59
zookeeper
分布式
云原生
zookeeper基础教程
一、关于zookeeperZookeeper作为一个分布式的服务框架,主要用来解决
分布式集群
中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,Zookeeper作用主要是用来维护和监控存储的数据的状态变化
weixin_30475039
·
2023-11-20 03:10
大数据
java
Python大数据之linux学习总结——day11_ZooKeeper
本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构,ZooKeeper树中的每个节点被称为—Znode。
笨小孩124
·
2023-11-19 20:50
ZooKeeper
学习总结
python
大数据
linux
大数据基础设施Apache Hadoop简介
一、项目起源在数据量很大的情况下,单机的处理能力无法胜任,必须采用
分布式集群
的方式进行处理,而用
分布式集群
的方式处理数据,实现的复杂度呈级数增加。
chenhjia
·
2023-11-19 10:10
大数据
mapreduce
hadoop
hdfs
yarn
2023.11.18 - hadoop之zookeeper分布式协调服务
本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决
分布式集群
中应用系统的一致性问题。
白白的wj
·
2023-11-19 08:41
hadoop
zookeeper
大数据
分布式
sql
数据仓库
hive
服务搭建篇(六) 搭建基于Kafka + Zookeeper的集群
一.Zookeeper1.什么是ZookeeperZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题。
lingering fear
·
2023-11-18 20:32
kafka
java-zookeeper
zookeeper
springcloud netty-webSocket
分布式集群
方案
1.启动多个netty-websocket服务,端口不一样,通过gateway或nginx做负载均衡配置权重,经测试客户端连接一个节点后,会固定锁定在一个节点,后续操作不会再负载均衡到其他节点上2.消息通过MQ发布订阅模式发送到每个节点,然后推送给客户端3.每个节点的session不能通过redis共享,这个思路不可行4.要改大linux的最大文件打开数上限,默认是10245.因为是根据ip加端口
lqz1993
·
2023-11-17 14:31
websocket
spring
cloud
分布式
Ray 分布式简单教程(1)
Ray主要作用就是提供一个调度平台,能够将各个
分布式集群
以及远程云端的服务器资源调度管理,只需稍加改动,就能将单机运行的代码部署到大规模集群上。
求则得之,舍则失之
·
2023-11-17 06:06
分布式
分布式
大数据
分布式集群
搭建(5)
下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS(分布式文件系统)B.YARN(运算资源调度系统)C.MAPREDUCE(分布式运算编程框架)4.广义上来说,HADOOP通
KongX_B
·
2023-11-17 03:25
大数据
大数据
hadoop
分布式
集群
Linux学习_006_JavaEE 程序员常用 linux 命令整理
JavaEE:后台应用都会涉及到linux系统、应用程序的部署、运维、
分布式集群
、大数据、云计算、…虚拟机:虚拟出来的计算机(Linux、Windows、MacOS)虚拟机软件:用来产生虚拟机的一个软件
黑泽君
·
2023-11-16 21:25
Linux
JavaEE
Redis分布式锁实现及其Redis性能优化
在
分布式集群
环境下,我们就需要使用分布式锁来解决数据一致性问题。分布式锁可以用Redis或zookeeper。本节我们介绍的Redis的分布式锁实现。
秋忆侬sonny
·
2023-11-16 04:02
分布式
redis
分布式
性能优化
Zookeeper安装部署
主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。
一个天蝎座 白勺 程序猿
·
2023-11-15 21:32
zookeeper
腾讯云部署docker-compose minio
分布式集群
部署
先看效果图腾讯云部署先开放端口:190001900190009001大概的目录是这样:先创建好目录docker-compose.yam:#指定的docker-compos的版本,这个需要和docker版本相适配,对应关系参考https://docs.docker.com/compose/compose-file/compose-file-v3/version:‘3.8’Settingsandcon
qq_32617639
·
2023-11-15 17:36
java
docker
搭建Hadoop伪
分布式集群
【实验内容】1.构建Linux系统环境,在Windows系统上安装Linux虚拟机,建议电脑比较新或者配置内存8G以上的电脑可以选择虚拟机安装。2.在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。【实验目的】1.掌握Linux虚拟机安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前很多学生可能正在使用Windows操
m0_58540923
·
2023-11-15 05:13
分布式
hadoop
大数据
大数据技术栈-Hadoop3.3.4-完全
分布式集群
搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署
目录环境条件:1、安装虚拟机(已安装好虚拟机的可跳转至二、安装JDK与Hadoop)(1)直接新建一台虚拟机(2)首次启用虚拟机,进行安装一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录)1、查看一下本机与虚拟机的网卡和ip信息(1)首先,查看本机的网卡配置,使用cmd查看ipconfg,找到VMware的虚拟网卡,查看ip(2)查看虚拟机的网卡配置和网络信
Hao.715
·
2023-11-15 05:43
大数据技术栈
大数据
分布式
java
hadoop
运维
Hadoop完全分布式安装
Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全
分布式集群
但是没有记录,最近开始着手自己搭个模拟数仓需要搭建集群,趁此机会记录一下搭建的过程。
薇安娜
·
2023-11-15 05:43
Hadoop
hadoop
大数据
Centos7搭建hadoop3.3.4
分布式集群
1、背景最近在学习hadoop,本文记录一下,怎样在Centos7系统上搭建一个3个节点的hadoop集群。2、集群规划hadoop集群是由2个集群构成的,分别是hdfs集群和yarn集群。2个集群都是主从结构。2.1hdfs集群规划ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataNode,JobHistoryServer192.168.121.141
JAVA序码
·
2023-11-15 04:10
java
k8s实践
k8s作为
分布式集群
部署方案,是一个主流的部署方案。
shlhhy
·
2023-11-14 13:31
kubernetes
容器
云原生
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他