Hadoop伪分布式运行案例

写在前面：

我的博客已迁移至自建服务器：博客传送门，CSDN博客暂时停止，如有机器学习方面的兴趣，欢迎来看一看。

此外目前我在gitHub上准备一些李航的《统计学习方法》的实现算法，目标将书内算法全部手打实现，欢迎参观并打星。GitHib传送门

1.分析

1）准备一台客户机
2）安装jdk
3）配置环境变量
4）配置集群
5）启动、测试集群增、删、查
6）执行wordcount案例

2.执行步骤

1）配置文件

a.配置hadoop-env.sh
Linux 系统中获取 jdk 的安装路径：

echo $JAVA_HOME

得到路径：/opt/module/jdk1.8.0_144
修改 JAVA_HOME 路径：

export JAVA_HOME=/opt/module/jdk1.8.0_144

b.配置core-site.xml
在文件的末尾与之间插入以下内容：

fs.defaultFS
hdfs://hadoop101:9000



hadoop.tmp.dir
/opt/module/hadoop-2.7.2/data/tmp

c.配置hdfs-site.xml
在文件的末尾与之间插入以下内容：

dfs.replication
1

2）启动集群

（a） 格式化 namenode（第一次启动时格式化，以后就不要总格式化）

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

（b） 启动 namenode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

（c） 启动 datanode

[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

（3）查看集群

（a） 查看是否启动成功

[atguigu@hadoop101 hadoop-2.7.2]$ jps
13586 NameNode
13668 DataNode
13786 Jps

（b） 查看产生的 log 日志
当前目录： /opt/module/hadoop-2.7.2/logs

[atguigu@hadoop101 logs]$ ls
hadoop-atguigu-datanode-hadoop.atguigu.com.log
hadoop-atguigu-datanode-hadoop.atguigu.com.out
hadoop-atguigu-namenode-hadoop.atguigu.com.log
hadoop-atguigu-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
[atguigu@hadoop101 logs]# cat hadoop-atguigu-datanode-hadoop101.log

（c） web 端查看 HDFS 文件系统
http://192.168.1.101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html

（4）操作集群

（a） 在 hdfs 文件系统上创建一个 input 文件夹

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/atguigu/input

（b） 将测试文件内容上传到文件系统上

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input
/user/atguigu/input/

（c） 查看上传的文件是否正确

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -ls /user/atguigu/input/
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/
input/wc.input

（d）运行 mapreduce 程序

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/
/user/atguigu/output

（e） 查看输出结果
命令行查看：

[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*