我的原创地址:https://dongkelun.com/2018/03/23/hadoopConf/
由于现在要用spark,而学习spark会和hdfs和hive打交道,之前在公司服务器配的分布式集群,离开公司之后,自己就不能用了,后来用ambari搭的三台虚拟机的集群太卡了,所以就上网查了一下hadoop+hive的单机部署,以便自己能进行简单的学习,这里记录一下,本来想把hadoop和hive的放在一起写,由于太多,就分成两篇写了。
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/,我下载的是hadoop-2.7.5.tar.gz
(由于我之前用的2.7.1是几年前下载保存在本地的,现在发现之前在配置spark那篇写的那个hadoop下载地址较慢,所以改成这个地址)
tar -zxvf hadoop-2.7.5.tar.gz -C /opt/
vim /etc/profile
export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
source /etc/profile
vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
找到# The java implementation to use.将其下面的一行改为:
export JAVA_HOME=/opt/jdk1.8.0_45
其中的IP:192.168.44.128为虚拟机ip,不能设置为localhost,如果用localhost,后面在windows上用saprk连接服务器(虚拟机)上的hive会报异常(win读取的配置也是localhost,这样localhost就为win本地ip了~也可以给ip加个映射,不过因为单机的我就没加)。
vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dirname>
<value>file:///opt/hadoop-2.7.5value>
<description>Abase for other temporary directories.description>
property>
<property>
<name>fs.defaultFSname>
<value>hdfs://192.168.44.128:8888value>
property>
configuration>
vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
dfs.replication
1
dfs.namenode.name.dir
file:///opt/hadoop-2.7.5/tmp/dfs/name
dfs.datanode.data.dir
file:///opt/hadoop-2.7.5/tmp/dfs/data
参考:linux ssh 免密登录
第一次启动hdfs需要格式化:
cd /opt/hadoop-2.7.5
./bin/hdfs namenode -format
Re-format filesystem in Storage Directory /opt/hadoop-2.7.5/tmp/dfs/name ? (Y or N)
输入:Y
(出现询问输入Y or N,全部输Y即可)
启动:
./sbin/start-dfs.sh
停止:
./sbin/stop-dfs.sh
验证,浏览器输入:http://192.168.44.128:50070
简单的验证hadoop命令:
hadoop fs -mkdir /test
在浏览器查看,出现如下图所示,即为成功
cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name
yarn
vim yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
启动:
cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh
./sbin/stop-yarn.sh
浏览器查看:http://192.168.44.128:8088
jps查看进程
到此,hadoop单机模式就配置成功了!
https://blog.csdn.net/cafebar123/article/details/73500014