大数据学习1.5-单机Hadoop

1.修改主机信息

vi /etc/hosts

2.修改信息如下(这里第三位一定是自己的IP 每个人都不一样)

192.168.216.140 hadoop01
192.168.216.141 hadoop02
192.168.216.142 hadoop03

3.修改Hadoop配置信息-1进入配置信息文件

cd /usr/local/hadoop/hadoop-2.7.1/etc/hadoop/

4.修改Hadoop配置信息-2vi hadoop-env.sh 

vi hadoop-env.sh 

追加如下信息

JAVA_HOME=/usr/local/java/jdk1.8.0_221

5.修改Hadoop配置信息-3vi hdfs-site.xml

vi hdfs-site.xml

追加如下信息(这里是单机 以后还需要改 先一步一步来 )

 dfs.replication
 2

 
dfs.namenode.secondary.http-address 
hadoop01:50090 

6.修改Hadoop配置信息-4vi core-site.xml

vi core-site.xml

追加如下信息

 fs.defaultFS
 hdfs://hadoop01:9000


hadoop.tmp.dir  
/usr/local/hadoop/hadoop-2.7.1/tmp

7.修改Hadoop配置信息-5vi mapred-site.xml

首先进行一个复制

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

添加下面内容

 MapReduce.framework.name
 yarn

8.修改Hadoop配置信息-3vi yarn-site.xml

vi yarn-site.xml

9.生成公钥和私钥

ssh-keygen -t rsa

然后三下回车

10.发送密钥

ssh-copy-id hadoop01

11.格式化namenode(第一次启动格式化 以后不需要)

 hdfs namenode -format

12.切换到hadoop文件夹

cd /usr/local/hadoop/hadoop-2.7.1/

.

13.启动hadoop

sbin/start-all.sh

14.查看网站

hadoop01:50090

15.Hadoop实战-2创建input目录

hadoop fs -mkdir /input

 16.Hadoop实战-1创建work.txt并编辑

vi word.txt

Hello Dear Firend
Good Good Study
Day Day up

17.Hadoop实战-3将word,txt放入input中

 hadoop fs -put word.txt /input/word.txt

18.Hadoop实战-4进行单词统计

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/word.txt /output