Ubuntu18安装Hadoop，zookeeper，hbase--记录

 

安装的版本如上:三台电脑都需要统一安装

首先安装hadoop

下载：Index of /dist/hadoop/common/hadoop-2.7.7

 

上传文件，并解压

 

cd到haddop目标，创建目录

 

Haddop配置：

 

保存退出：

 

fs.defaultFS
hdfs://master:9000


io.file.buffer.size
131072


hadoop.tmp.dir
file:/opt/hadoop-2.7.7/tmp
Abasefor other temporary directories.


hadoop.proxyuser.spark.hosts
*


hadoop.proxyuser.spark.groups
*

 

 

 

dfs.namenode.secondary.http-address
master:9001


dfs.namenode.name.dir
file:/opt/hadoop-2.7.7/dfs/name


dfs.datanode.data.dir
file:/opt/hadoop-2.7.7/dfs/data


dfs.replication
3


dfs.webhdfs.enabled
true

 

 

 

mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.webapp.address
master:19888

yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.resourcemanager.address
master:8032


yarn.resourcemanager.scheduler.address
master:8030


yarn.resourcemanager.resource-tracker.address
master:8035


yarn.resourcemanager.admin.address
master:8033


yarn.resourcemanager.webapp.address
master:8088

 

 

 

将master配置好的haddop，远程复制到另外两台电脑

 

 scp -r hadoop-2.7.7 root@ubuntu1804slave1:`pwd`
 scp -r hadoop-2.7.7 root@ubuntu1804slave2:`pwd`

 

检查是否传输成功：存在！

 Hadoop启动：

 

./hadoop namenode -format

 

 

 

 记一下;这里我的节点只有一个，另外两个节点没有连接；

解决错误：

查看日志：

9000端口拒绝访问！

仔细思考，可能是防火墙，配置文件换成IP地址；等等；

我的解决方式如下：

netstat -tlpn 检查主节点9000端口是否打开，发现是127.0.0.1；原来这是只允许自己访问9000，肯定其他两个电脑没法访问呗，那么修改master中的host不就行了；0.0.0.0 允许所有电脑访问；如下图 vi /etc/hosts

 重启电脑：reboot

测试如下：成功！

 Zookeeper集群部署

上传解压：

 

 

 

 

 

 Hbase部署

HBase 配置 

 

 

 

 

 

 

 启动：成功！

 

 Spark 部署

 

 

 

 

export JAVA_HOME=/opt/jdk1.8.0_333
export SPARK_MASTER_IP=10.1.53.213
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_EXECUTOR_MEMORY=4g
export HADOOP_HOME=/opt/hadoop-2.7.7/
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/jdk1.8.0_333/jre/lib/amd64

 

 

 

 http://10.1.53.213:8080/

至此， Haddop、Zookeeper、HBase安装成功！