E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
slave1
分布式集群环境之域名映射与免密码登录
.域名映射2.校验域名映射0x03集群免密码登录配置1.生成三台服务器的秘钥2.配置公钥到authorized_keys文件3.聚合三台服务器的公钥到authorized_keys文件4.分发钥匙袋到
slave1
邵奈一
·
2020-07-13 13:48
安装与配置
复制粘贴玩大数据系列教程
大数据
复制粘贴玩转大数据系列专栏
集群多服务器,普通用户SSH访问方法
2.制作公钥私钥2.1登录master、
slave1
、slave2生成其公钥、私钥文件#登录master#切换到user目录下的.ssh文件夹:cd/home/user/.ssh#生成一个密码为空的公钥和私钥
逆風的薔薇
·
2020-07-13 04:15
MPI
&
集群
centos7+hadoop-3.1.0搭建分布式集群超详细教程
目录一、新建虚拟机:二、连接XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装八、克隆九、配置
slave1
和slave2十、ssh免密登录十一
喬喬
·
2020-07-11 23:40
SSH免密登录(笔记)
三台主机,分别是Master,
Slave1
,Slave2,需要他们之间能够互相免密访问。
sbq63683210
·
2020-07-11 22:16
Spark
Hbase2.1.3分布式部署
我的Hadoop版本为2.7.6,jdk为1.8版本的,都和Hbase2.1.3兼容,部署在Cento7上,我将在五台虚拟机上测试部署(master1,master2,
slave1
,slave2,slave3
rongDang
·
2020-07-11 22:53
Hadoop
服务器之间实现免密登录的简易教程
1、先在所有服务器上执行命令:ssh-keygen-tdsa-P''-f~/.ssh/id_dsamaster服务器
slave1
服务器slave2服务器2、而后在所有服务器上执行命令:cat/.ssh/
Python进阶者
·
2020-07-11 14:51
Hadoop2.7.5高可用zookeeper搭建
集群规划hadoopHA集群的搭建依赖zookeeper,所以选取三台当作zookeeper集群,这次准备了4台主机,分别是hadoopm,hadoopsm,
slave1
,slave2,其中hadoopm
zhbzhbzhbbaby
·
2020-07-10 14:43
大数据
ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境的详细教程
namenode的同时也是datanode,192.168.168.14作为datanode的同时也作为secondarynamenodes首先修改/etc/hostname将主机名改为master、
slave1
·
2020-07-10 12:50
查漏补缺-Hadoop集群搭建记录
Hadoop集群搭建一、虚拟机设置准备三台虚拟机,内存2g,硬盘20g设置hostname,master/
slave1
/slave2CentOS6版本修改network文件:vi/etc/sysconfig
赵庆春
·
2020-07-10 05:03
大数据
【实战】SpringBoot + KafKa实现生产者和消费者功能
org.springframework.kafkaspring-kafka2.配置application.ymlkafka部分:kafka:#指定kafka代理地址,可以多个bootstrap-servers:hadoop:9092,
slave1
a1254482024
·
2020-07-09 12:57
Centos7下搭建大数据处理集群(Hadoop+Spark+Hbase+Hive+Zookeeper+Kafka+Flume)详细步骤
一.目录左侧按钮显示二.集群规划准备3台虚拟机,设置IP地址和hostname,一般的三台机器的集群为了明确表示主从关系,命名master,
slave1
,slave2,我这边直接命名为hp1,hp2,hp3
潜心_守道
·
2020-07-09 07:14
大数据
正在连接 192.168.6.121:8088... 失败:没有到主机的路由
1.在master:192.168.6.121上执行netstat-na可以看到192.168.6.121:80882.在
slave1
:192.168.6.150上执行wgethttp://192.168.6.121
weixin_33812433
·
2020-07-08 15:04
ubuntu下hadoop,spark配置
与安装第一台Ubuntu机器不同的几点是:第一点:我们把第二、三台Ubuntu机器命名为了
Slave1
、Slave2,如下图所示:创建完的
weixin_30515513
·
2020-07-08 13:30
分布式集群环境之Spark的安装与配置(Centos7)
教程目录0x00教程内容0x01Spark的获取1.官网下载2.关注公众号:邵奈一0x02上传Spark安装包到集群1.上传安装包到虚拟机0x03安装与配置Spark1.解压Spark包并配置2.同步到
slave1
邵奈一
·
2020-07-08 05:02
复制粘贴玩大数据系列教程
大数据
安装与配置
大数据hadoop集群的搭建总结及步骤
CentOS7系列:关闭防火墙:systemctlstopfirewalld禁止防火墙开机启动:systemctldisablefirewalld安装虚拟机的时候需要配置好主机名和网络主机名:master,
slave1
夕阳下的独行者
·
2020-07-08 00:10
linux
SpringBoot 多数据源
实现1、建库建表首先,我们在本地新建三个数据库名分别为master,
slave1
,slave2,我们的目前就是写入操作都是在master,查询是
slave1
,slave2因此我们在上一篇也就是【SpringBoot2.0
java_陈序猿
·
2020-07-07 16:31
Springboot
多数据源
Springboot读写分离
hadoop集群,mapreduce任务没有在所有slave节点上执行的问题
maptask在哪台服务器上执行了,可以在http://1master:19888日志聚合的界面查看,也可以在运行时查看节点cpu使用情况本人使用yarn作为任务调度,两台slave,但是最终发现,要么全是
slave1
lhyxcxy
·
2020-07-07 13:33
服务器之间实现免密登录的简易教程
1、先在所有服务器上执行命令:ssh-keygen-tdsa-P''-f~/.ssh/id_dsamaster服务器
slave1
服务器slave2服务器2、而后在所有服务器上执行命令:cat~/.ssh
pengdongcheng
·
2020-07-06 15:07
Linux
Ubuntu
服务器
服务器之间实现免密登录的简易教程
1、先在所有服务器上执行命令:ssh-keygen-tdsa-P''-f~/.ssh/id_dsamaster服务器
slave1
服务器slave2服务器2、而后在所有服务器上执行命令:cat~/.ssh
dcpeng
·
2020-07-06 14:00
服务器之间实现免密登录的简易教程
1、先在所有服务器上执行命令:ssh-keygen-tdsa-P''-f~/.ssh/id_dsamaster服务器
slave1
服务器slave2服务器2、而后在所有服务器上执行命令:cat~/.ssh
dcpeng
·
2020-07-06 14:00
Hadoop完全分布式环境搭建之生成ssh秘钥并配置
首先说明,我模拟hadoop集群,创建了三个节点,分别为master,
slave1
,slave2,他们在本文配置基本一样,请各位举一反三。
Alukar
·
2020-07-06 12:01
使用shell脚本实现自动化部署HBASE集群
首先,要安装好hadoop1.0.4,本例中主节点的主机名为的master,从节点的主机名分别是
slave1
,slave2,slave3,用户名为hadoop,使用的hbase版本为hbase-0.94.6
weixin_34347651
·
2020-07-06 01:21
全国大学生大数据技能竞赛
securecopy)安全拷贝6.2rsync远程同步工具7.安装Zookeeper8.hadoop安装9.HBase安装10构建数据仓库10.1在slave2上安装mysqlserver设置sql密码为空10.2在
slave1
Sparky*
·
2020-07-05 21:43
大数据
Hadoop多节点分布式配置安装
带颜色字体为终端命令网络环境配置1、修改主节点和各个子节点的主机名,主节点为master,子节点为slave0,
slave1
,…sudogedit/etc/hostname2、将ip改
小黄人的banana
·
2020-07-05 18:36
hadoop
Spark +hadoop 完全分布式搭建 以及常见问题
ubuntu14.04serverhadoop2.7.4spark2.2.0java1.8scala2.12.3(搭建过程也是linux命令熟悉过程)先改下三台主机名称:主节点;server1,从节点
slave1
流風回雪_YZK
·
2020-07-05 16:45
hadoop
spark
ubuntu
ubuntu18.04 搭建hadoop完全分布式集群(Master、
slave1
、slave2)共三个节点
一、硬件配置以及操作系统:所需要的机器以及操作系统:一台macos笔记本、一台window笔记本(CPU双核四线程,内存8G),其中macos用于远程操作,window笔记本装有虚拟机,虚拟出3个ubuntu18.04系统(配置CPU1个线程2个,内存1.5G,硬盘分配每个70G),对于macos(可以用window机或者linux机)的配置没有要求使用vm创建3个ubuntu18.04系统,一个
sxjlinux
·
2020-07-05 13:51
java
为什么Hadoop集群中机器台数多反而执行速度慢?
这里假设集群中有
slave1
,slave2,slave3三个节点,其中slave3工作效率低。
sun_168
·
2020-07-05 13:55
hadoop
Hadoop--三台虚拟机搭建全分布模式
设备:三台虚拟机:master0,
slave1
,slave2192.168.56.132master0192.168.56.131slave1192.168.56.133slave2软件版本:hadoop
DianLong_I2
·
2020-07-05 03:24
笔记
linux中spark启动进程命令以及顺序
1)首先启动hadoop①在Master节点上进入hadoop安装目录下,执行sbin/start-dfs.sh②在
Slave1
节点上进入hadoop安装目录下,执行sbin/start-yarn.sh③
一只小飞狐
·
2020-07-04 16:59
spark
c# 不同project之间参数传递及调用
有时候会碰到不同project调用及参数传递的问题,所以把自己用的方法写了一个小例子,涉及到委托和事件,案例中,建立两个project,名字分别为master1和
slave1
,其中master需要调用
slave1
假装自己是个小码农
·
2020-07-04 15:08
C#学习笔记
委托
事件
c#
在CentOS6.4搭建hadoop集群的实践笔记
伪分布式配置请看这里说是集群,实际上只有一个master和一个slave,为了不让CPU烧熟桌子本搭建基于Hadoop2,可适合任何Hadoop2.x.y版本安装CentOS6.4,两台一台做Master,一台做
Slave1
阿坨
·
2020-07-04 11:21
Hadoop
使用三台虚拟机和Hadoop3.1.0搭建集群
虚拟机这里就不过多说了,网上教程一大把,这里使用的是ubuntu系统1、三台虚拟机启动后修改hostname使用一下命令sudogedit/etc/hostname,将三台虚拟机的分别修改为master,
slave1
Mr_wuliboy
·
2020-07-04 07:28
hadoop
ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境
namenode的同时也是datanode,192.168.168.14作为datanode的同时也作为secondarynamenodes首先修改/etc/hostname将主机名改为master、
slave1
九命猫幺的笔记
·
2020-07-03 11:00
ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境
namenode的同时也是datanode,192.168.168.14作为datanode的同时也作为secondarynamenodes首先修改/etc/hostname将主机名改为master、
slave1
九命猫幺
·
2020-07-03 11:00
【Hadoop篇07】Hadoop集群脚本编写
积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下:比如有三台主机master1,
slave1
,slave2如果简历完全分布式的集群就需要将文件从master1
focusbigdata
·
2020-07-01 19:58
hadoop
mysql主宕机,主从故障切换(一主多从)
二:模拟主故障关闭master实例servicemysqlstop此时,
slave1
,slave2上showslavestatus\G都会发现错误:Last_IO_Error:errorreconnectingtomaster
雅冰石
·
2020-07-01 14:00
MySql
学习
Mysql
主从复制
CentOS7搭建Hadoop集群环境
前言CentOS7虚拟机搭建hadoop集群,共3个节点:master、
slave1
、slave2软件:java1.8hadoop2.6.03台虚拟机都装有CentOS7(最小化安装)系统,一台机命名为
Lzzwwen
·
2020-07-01 11:35
Hadoop
flume监听文件数据--发送到kafka中
flume安装:(略,见前面内容)kafka安装:(略,见前面内容)创建kafkatopicbin/kafka-topics.sh--create--zookeepermaster:2181,
slave1
冉小苏
·
2020-06-30 18:45
bigdata
搭建分布式Spark计算平台
CentOS7.2.主机名称IP地址master192.168.1.106slave1192.168.1.107slave2192.168.1.108其中master为hadoop的namenode,
slave1
zkf541076398
·
2020-06-30 18:03
Spark
【Hadoop篇07】Hadoop集群脚本编写
积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下:比如有三台主机master1,
slave1
,slave2如果简历完全分布式的集群就需要将文件从master1
focusbigdata
·
2020-06-30 15:00
2-0三台PC集群的搭建(HA+backupmaster)
1.HADOOP修改实现HDFS的HA的搭建,部署目录:/opt/hadoop-2.2.0(1)创建目录(变化)Namenode节点(master1,
slave1
):mkdir–p/dat
sealhunter
·
2020-06-29 19:36
hadoop集群
Hadoop安装与配置详细教程
我的三台CentOS7服务器:主机:master(192.168.56.110)从机:slave0(192.168.56.111)从机:
slave1
(192.168.56.112)每一个节点的安装与配置是相同的
王佳斌
·
2020-06-29 12:13
+
Hadoop
Hadoop
【Hadoop篇02】Hadoop完全分布式环境搭建
优于别人,并不高贵,真正的高贵应该是优于过去的自己Hadoop完全分布式环境搭建编写分发文件脚本应用场景如下:比如有三台主机master1,
slave1
,slave2如果简历完全分布式的集群就需要将文件从
focusbigdata
·
2020-06-29 10:37
hadoop
关于IP地址与主机名映射的/etc/hosts文件配置
首先,在hadoop工作就像是一个社团帮派,master是老大,而
slave1
、slave2等就是master的小弟。
柘月十七
·
2020-06-29 09:40
hadoop
Linux
无痛搭建hadoop集群并运行Wordcount程序
目录前置准备查看本地网络信息查看网络连接状态更改网络信息更改主机名对虚拟机进行克隆得到
slave1
和slave2节点配置
slave1
和slave2的参数信息建立主机名到ip的映射配置ssh免密登录关闭防火墙与
Veritaswhs
·
2020-06-29 08:49
大数据
CentOS7+Ambria2.6.1.0+HDP2.6.4.0安装详细步骤
Ambria安装1.环境准备(在master,
slave1
,slave2,slave3)1.1.环境说明masterslave1slave2slave3主机名master.ambria.comslave1
LJiaWang
·
2020-06-28 22:53
linux
【Hadoop篇02】Hadoop完全分布式环境搭建
优于别人,并不高贵,真正的高贵应该是优于过去的自己Hadoop完全分布式环境搭建编写分发文件脚本应用场景如下:比如有三台主机master1,
slave1
,slave2如果简历完全分布式的集群就需要将文件从
focusbigdata
·
2020-06-28 11:00
ssh免密码登陆(三个节点master
slave1
slave2)详细带命令版
准备工作:首先修改三个节点的名称分别为masterslave1slave2。建议以vim/etc/sysconfig/network的方式修改修改三个节点的/etc/hosts文件如下形式:192.168.43.202master192.168.43.253slave1192.168.43.113slave2前面为各自机器对应的IP配置ssh免密码登录(三个节点m1、s1、s2)主节点配置:首先到
weixin_30240349
·
2020-06-27 15:53
centOS7.0 下配置Hadoop集群,
Slave1
报错:failed on socket timeout exception: java.net.NoRouteToHostException
Hadoop版本:2.5.0在配置Hadoop集群时,在Master上启动目录/usr/hadoop/sbin/下的./start-all.sh后,在Master主机上[hadoop@Mastersbin]$./start-all.shThisscriptisDeprecated.Insteadusestart-dfs.shandstart-yarn.shStartingnamenodeson
qiugui0557
·
2020-06-27 03:41
Intellij IDEA远程向hadoop集群提交mapreduce作业
本地环境:win7(64位)、IntellijIDEA2016.3.52、集群环境:虚拟机系统centos6.5、hadoop2.6.0,共三个节点,其中master节点为192.168.137.2,
slave1
yumiao13
·
2020-06-27 01:14
大数据平台
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他