从头安装5 -- hadoop

个人备注网页, 不喜勿扰

1.解压hadoop
[root@base ~]# tar -zxf downloads/hadoop-2.8.1.tar.gz
2.改名
[root@base ~]# mv hadoop-2.8.1 hadoop
3.修改配置文件
进入hadoop-2.2.1/etc/hadoop目录下，需要配置以下7个文件有：
hadoop-env.sh, yarn-env.sh, slaves, core-site.xml, hdfs-site.xml, maprd-site.xml, yarn-site.xml

hadoop-env.sh
修改 export JAVA_HOME=${JAVA_HOME}
为(真实jdk地址)
export JAVA_HOME=/root/jdk1.7.0_80

yarn-env.sh
在JAVA=$JAVA_HOME/bin/java 上一行增加
export JAVA_HOME=/root/jdk1.7.0_80

slaves(这里先配置一个,便于测试.以后可以追加)
master

core-site.xml


fs.defaultFS
hdfs://master:9000


io.file.buffer.size
131072


hadoop.tmp.dir
/home/tmp
Abasefor other temporary directories.


hadoop.proxyuser.spark.hosts



hadoop.proxyuser.spark.groups



*** 使用 这个配置需要在home下新建tmp文件夹 mkdir tmp***

hdfs-site.xml


dfs.replication
2


dfs.name.dir
/home/dfs/name


dfs.data.dir
/home/dfs/data


dfs.namenode.secondary.http-address
master:9001


dfs.webhdfs.enabled
true


dfs.permissions
false


*** 使用 这个配置需要在home下新建dfs文件夹 mkdir dfs***
*** 使用 这个配置需要在home/dfs下新建name文件夹 mkdir name 和新建data文件夹 mkdir data***

mapred-site.xml(mapred-site.xml.template 先改名)


mapreduce.framework.name
yarn


mapreduce.jobhistory.address
master:10020


mapreduce.jobhistory.webapp.address
master:19888

yarn-site.xml

yarn.resourcemanager.address
master:18040


yarn.resourcemanager.scheduler.address
master:18030


yarn.resourcemanager.webapp.address
master:18088


yarn.resourcemanager.resource-tracker.address
master:18025


yarn.resourcemanager.admin.address
master:18141


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler


yarn.nodemanager.pmem-check-enabled
false


yarn.nodemanager.vmem-check-enabled
false


4.增加环境变量
vi /etc/profile
增加:
export PATH=$PATH:/root/hadoop/bin
刷新文件
source /etc/profile
5.格式化nodename
hadoop namenode -format
6.启动测试
./sbin/start-all.sh
7.浏览器访问
http://192.168.10.109:50070
说明hdfs成功
http://192.168.10.109:18088
说明yarn成功

==========================================================
以下非部署使用

部署时 master需要修改host 将主机和工作及其的IP均进行配置
如：192.168.10.86 sparkhost
192.168.10.88 startX

打开Hadoop，sbin/start-all.sh
上传文件：bin/hadoop fs -put /home/xleer/1.txt /user/hadoop/input1/
查看HDFS中的文件：
bin/hadoop fs -ls /user/hadoop/input1/*
在hdfs中创建文件夹：
bin/hadoop fs -mkdir -p /user/hadoop/input (无-p也可以)
删除HDFS中的文件夹：
bin/hadoop fs -rm -r /user/hadoop/output

修改文件的权限：

sudo bin/hadoop fs -chmod 777 /user/hadoop

查看运行结果：
sudo bin/hadoop fs cat output/part-r-00000