E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
slave1
yarn分布式集群部署
单机部署的方式,ubuntu上和CentOS一样分布式集群的部署方式1.修改
slave1
和slave2机器的/etc/hosts设置masterslave1slave2namenodedatanode1datanode2
luohandsome
·
2020-08-18 11:23
技术
yarn
分布式
集群
CentOS7搭建flink1.6
关于搭建Hadoop环境,可参考:https://www.cnblogs.com/SysoCjs/p/10835793.html)说明:#master,表示在master节点上操作;#master,#
slave1
weixin_30480583
·
2020-08-18 10:24
Apache Sentry安装及简单使用
1环境描述三台hadoop集群,分别是master、
slave1
和slave2。
weixin_30919571
·
2020-08-17 16:41
Docker环境下搭建Hadoop集群
42051109/article/details/82744993安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、
Slave1
Selenium39
·
2020-08-17 13:21
大数据
centos7 安装 cdh5 集群超详细教程
系统环境:主节点:master10.18.1.117从节点:
slave1
,slave2,slave310.18.1.118,10.18.119,10.18.1.120一、准备工作,系统环境搭建预先准备工作
mythsc
·
2020-08-17 09:41
Hadoop
cdh5
搭建Hadoop分布式集群50070页面只显示一个节点
3.8088和50090页面无法连接解决过程:1.SecondaryNameNode节点起不来我按照步骤在每个节点下都进行了启动,jps命令后唯独SecondaryNameNode节点找不到,后来是在
slave1
爱我中华1996
·
2020-08-16 22:33
学习心得
大数据
Linux大数据平台搭建master、
slave1
、slave2
实验采用的刚装好的三台虚拟机,名字分别为master、
slave1
、slave2.用到的软件如下:一、前期操作1、启动网卡:(三台机器)修改配置文件:vi/etc/sysconfig/network-scripts
奕吉啊
·
2020-08-16 22:02
#
CentOS
笔记
大数据环境搭建
Apache Hadoop 分布式集群环境安装配置详细步骤
案例基于centos6.5安装hadoop2.6.4集群部署,使用两个节点作为集群环境,一个为Master节点,IP为192.168.168.139;另一个作为
Slave1
节点,IP为192.168.168.141
江山如此多坑
·
2020-08-16 21:56
大数据
hadoop3.1.0集群搭建
实现步骤:1、利用Vmware10来构建虚拟机,我们需要三台虚拟机,虚拟机配置一个即可,进行克隆操作;2、于/etc/hostname处分别修改主机名为master,
slave1
,slave2;3、防火墙设置
kyswdzz_0
·
2020-08-16 19:01
Hadoop全分布式集群配置指南
这里以centOS7为例先配置好一台master,另外两台
slave1
和slave2克隆master即可创建hadoop用户必须在root用户下进行新用户的创建(或删除):[root@masterhadoop
冽夫
·
2020-08-16 19:50
Hadoop
Hadoop安装(含client安装)
角色定位主机名NamenodemasterDatanodeslave1Datanodeslave2Clientclient1.安装前准备工作:1.1.更改4台机器主机名为master,
slave1
,slave2
WhuCS_B701
·
2020-08-16 18:58
Hadoop
jupyter-notebook 以yarn模式运行出现的问题及解决
现在特记录一下过程:这里一共有两个虚拟机,一个做master,一个做
slave1
虚拟机
slave1
安装sparkslave1之前已经安装了hadoop,并且可以成功进行Hadoop集群运算。
liusc123
·
2020-08-15 23:00
hive的远程模式安装(用mysql作为hive的元数据库)
主机ip(主机名):192.168.80.10(Master)192.168.80.11(
Slave1
)192.168.80.12()Slave2在主机Master中解压hive:tar–zxvfhivehive
Marho11
·
2020-08-14 22:15
Hive
Redis复制的原理与优化
什么是主从复制1个master可以有多个
slave1
个slave只能有1个master数据流向是单向的,master到slave作用:为数据提供了多个副本扩展了redis读的性能复制的配置(不允许在同一台机器上部署主从节点
一博是我的
·
2020-08-14 21:06
Redis
[Mercy分享]mycat 主从分离,一点心得记录
数据库)变为:(API---->mycat---->数据库)详细操作准备:下载安装mycat---说明按理采用MYSQL数据库--1.创建数据库database:--->master1/master2/
slave1
Mercy_ui
·
2020-08-14 15:06
Hadoop集群搭建及运行自带的wordcount程序
slave1
,slave2的配置与master1的所有配置均一致(除了静态ip不同),以下所有配置,三台主机都需配置。1.搭建环境在虚拟机中搭建hadoop集群。
JAnedun
·
2020-08-14 13:58
学习
7-6全量复制
通过偏移量对比,将这期间写入的值,同步给
slave1
、psyncrunid偏移量,第一次不知道masterrunid,和自己的偏移量2、master知道是全量复制,告诉sla
INGNIGHT
·
2020-08-14 13:25
redis
Hadoop搭建HA的时候,开启NameNode服务的时候总有其中一个挂掉的原因及解决方法
HA的情况下,开启start-dfs.sh服务的时候,master和slave两个NameNode服务总有一个挂掉,原因:start-dfs.sh的时候,首先开启的是master:NameNode后是
slave1
陈平寨黄山赵子龙
·
2020-08-10 19:10
Hadoop
jupyter-notebook 以yarn模式运行出现的问题及解决
现在特记录一下过程:这里一共有两个虚拟机,一个做master,一个做
slave1
虚拟机
slave1
安装sparkslave1之前已经安装了hadoop,并且可以成功进行Hadoop集群运算。
小白programmer
·
2020-08-09 14:34
spark学习
28035 SPI 使用笔记
配置主从模式,这里选择主机模式SpiaRegs.SPICTL.bit.MASTER_SLAVE=1;//0:
Slave1
:Mast
熠晨
·
2020-08-08 15:27
嵌入式笔记
Phoenix统计某段时间内的数据量
from"normalFlow"where"Timestamp"BETWEEN'2019-05-1017:11:00'and'2019-05-1017:13:25';结果:0:jdbc:phoenix:master,
slave1
Sword1996
·
2020-08-06 12:32
大数据
Could not open connection to jdbc:hive2://
slave1
:21050/;auth=noSasl: Connection refused
问题所在原因:impalaserver未开启开启impala:在master(主节点)上启动statestore,catalog/etc/init.d/impala-state-storestart/etc/init.d/impala-catalogstart在slave1-slave3(子节点,我这里子节点有三个)上依次启动server/etc/init.d/impala-serverstart
养着李泡泡的饭团
·
2020-08-04 20:09
linux
impala
hadoop集群搭建详细说明
分别为192.168.100.30、192.168.100.63、192.168.100.147,统一安装centos命令行界面,统一用户名密码:root/xjtuse2、三台主机名更改为:master、
slave1
阚大山2018
·
2020-08-04 07:58
技术分享
Docker入门(十二):制作hadoop3.0.3集群镜像
core-site.xml文件4.3修改yarn-site.xml文件4.4修改mapred-site.xml文件4.5修改hdfs-site.xml文件(master)4.6修改hdfs-site.xml文件(
slave1
刘李404not found
·
2020-08-03 22:56
Docker
hadoop分布式环境搭建
首先规划:三台机器,域名分别是master,
slave1
,slave2。
太白酒仙
·
2020-08-03 00:15
大数据
hadoop
hdfs
大数据
hadoop分布式环境搭建
mapreduce
yarn
hdfs
hadoop分布式部署系列2:MR1
安装服务分布式mr1:jobtracker、tasktracker环境准备:主节点:192.168.58.129(hostname:master)子节点:192.168.58.130(
slave1
),192.168.58.131
liuluxyz
·
2020-08-01 13:35
hadoop
Hive集群安装配置
同时,比如我这里的master、
slave1
和slave2组成的hadoop集群。hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client。只需要ssh免密码通信即可。
差不多程序员
·
2020-08-01 09:06
大数据
Java 1.8+Hadoop 2.7.3+Spark 2.1.1+Scala 2.11.8整合分布式部署
在写本文章前,假设三个Linux系统已经装好,分别为:三个主机:1、键入命令:sudovi/etc/hostnamemaster、
slave1
、slave2IP地址分别为:2、修改文件hostssudovi
温润如风
·
2020-07-30 08:28
Hadoop
Spark
大数据环境搭建(Hadoop,Spark,Zookeeper,Hbase,Kafka)
1Linux环境准备1.1基础设置修改主机名hostnamectlset-hostnamemasterreboot依次将其他3台机器设置为
slave1
,slave2,slave3。
安中古天乐
·
2020-07-30 02:21
Hadoop完全分布式安装
因为我们硬件设施有限,所以我们采用虚拟机的方式模拟hadoop集群,我们准备建立四台虚拟机,一台机器master作为管理节点,其他三台机器
slave1
、slave2和slave3作为子节点。
祖国的沙漠-SUN
·
2020-07-30 01:40
大数据学习
hadoop集群
分布式
Yarn集群配置
1、配置yarn-site.xml文件,用Xshell连接四台机器(master、
slave1
、slave2、slave3),Xshell有命令发送到所有窗口的功能(工具–>发送输入到所有会话),所以我们可以同时修改四台机器上的
祖国的沙漠-SUN
·
2020-07-30 01:09
大数据学习
Linux环境 solr-7.4.0安装【一篇就够】
一、环境说明三台安装了CenOS7操作系统的虚拟机master(192.168.11.128)、
slave1
(192.168.11.129)、slave2(192.168.11.30)二、下载solr安装包地址
sjmz30071360
·
2020-07-30 00:03
solr
Hadoop搭建HA的时候,开启NameNode服务的时候总有其中一个挂掉的原因及解决方法
搭建HA的情况下,开启start-dfs.sh服务的时候,master和
slave1
两个NameNode服务总有一个挂掉,原因:start-dfs.sh的时候,首先开启的是master:NameNode
小A__
·
2020-07-29 00:16
HA
Hadoop
ElasticSearch集群部署与head插件安装
使用3个物理节点做测试,分别为:master、
slave1
、slave2Step1.下载elasticsearch-rtf-master并解压:该版本集成了大部分插件,部署简单高效。
_Ethanliu
·
2020-07-28 02:36
编程珠玑
Hadoop+Zookeeper+HBase完全分布式集群搭建
Ubuntu18.04JavaJDK:1.8.0_241Zookeeper:3.5.6Hadoop:2.10.0HBase:1.3.6虚拟机中三台服务器主机信息:|主机名|IP||master|192.168.0.166||
slave1
下等马王德发
·
2020-07-27 17:23
Hadoop
Hadoop核心组件之HDFS的安装与配置
官网下载2.添加微信:shaonaiyi8883.关注公众号:邵奈一0x02上传安装包到集群1.上传安装包到虚拟机0x02安装与配置Hadoop1.解压Hadoop2.配置Hadoop3.同步Hadoop到
slave1
邵奈一
·
2020-07-27 13:29
安装与配置
复制粘贴玩大数据系列教程
大数据
复制粘贴玩转大数据系列专栏
Hadoop2.7.6 完全分布搭建
centos7.5hadoop2.7.6完全分布搭建一、准备3台客户机(master,
slave1
,slave2)关闭防火墙三台机器都要systemctlstopfirewalld.service关闭防火墙
szjmsww
·
2020-07-15 08:13
Linux 如何通过某一台服务器调用执行多台远程服务器上的脚本,结果显示在本地?...
一共三台机器:master:192.168.4.91slave1:192.168.4.45slave2:192.168.4.96在
slave1
上远程执行master、slave2上的脚本,结果显示或者放到本地
weixin_34379433
·
2020-07-15 05:36
spark跑YARN模式或Client模式提交任务不成功(application state: ACCEPTED)
master分配2G,
slave1
分配1G,slave2分配1G。
weixin_33828101
·
2020-07-15 04:27
搭建Spark真实分布式运行环境
模式准备工作配置基本环境配置免密登录分布式sparkstandalone环境部署,不依赖于HDFS配置spark-env.sh文件配置slaves.template文件将配置好的spark文件分发至slaves机器启动spark测试添加
slave1
jeewang
·
2020-07-15 01:16
Spark
GraphX
图计算系统
Hadoop集群完全分布式搭建教程-CentOS
1.说明本教程中电脑为8G内存,故而将使用四个节点作为集群环境,其中一个为master,3个为slave(分别是
slave1
、slave2和slave3、
shu_lin
·
2020-07-15 01:37
Hadoop
Hive-1.2.1与HBase-1.1.2的整合
HBase-1.1.2的整合这里的整合是指,将HBase作为存储数据的库,由Hive作为连接桥梁修改Hivehive-site.xml增加hbase.zookeeper.quorummaster:2181,
slave1
木之夭
·
2020-07-15 00:31
大数据薪资分析项目(自建)
分布式集群环境之Scala的安装与配置(Centos7)
0x01Scala的获取1.官网下载2.添加微信:shaonaiyi8883.关注公众号:邵奈一0x02上传Scala安装包到集群1.上传安装包到虚拟机0x03安装与配置Scala1.解压Scala包2.同步到
slave1
邵奈一
·
2020-07-14 22:25
复制粘贴玩大数据系列教程
大数据
安装与配置
Spark详解(二):Spark完全分布式环境搭建
1.前言本文搭建了一个由三节点(master、
slave1
、slave2)构成的Spark完全分布式集群,并通过Spark分布式计算的一个示例测试集群的正确性。
MasterT-J
·
2020-07-14 17:32
Spark框架
Spark框架
hadoop,hbase,hive安装全记录
:CentOS5.5Hadoop:hadoop-0.20.203.0jdk1.7.0_01namenode主机名:master,namenode的IP:10.10.102.15datanode主机名:
slave1
chengweipeng123
·
2020-07-14 08:07
Hadoop + hbase + Zookeeper + spark + scala 集群搭建
在学习大数据过程中,搭建环境笔记:1.装载3个vmmaster、
slave1
、slave2(CentOS6.464位)2.(所有root用户)新建用户/密码hadoop/hadoop1233.
Ray-liusl
·
2020-07-14 05:12
大数据
docker实现mysql主从复制
个文件夹和2个文件mkdir/home/docker/mysql/master/cnfmkdir/home/docker/mysql/master/datamkdir/home/docker/mysql/
slave1
任嘉平生愿
·
2020-07-14 05:15
Hadoop环境搭建
目录零、码仙励志一、百度云下载需要的软件二、安装VM三、VM网络设置四、安装CentOS7五、master网络配置六、从master克隆slave0和
slave1
七、slave0和
slave1
网络配置八
码仙♥
·
2020-07-14 02:52
Hadoop
Hadoop大数据平台搭建与环境配置
Hadoop完全分布式平台搭建:集群机器三台机器:一个作为master,另外两个作为
slave1
。分别执行ifconfig命令获取每台机器的IP地址2。
baidu_38371925
·
2020-07-14 01:58
大数据
hadoop中datanode无法启动,报Caused by: java.net.NoRouteToHostException: No route to host
所以我到
slave1
和slave2上面去执行jps查看进程,结果都没有datanode
weixin_33971205
·
2020-07-13 18:23
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他