hadoop订单项目实战

1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件

2.删除test文件夹

修改RawMapducer.java文件的路径地址

3.修改pom.xml文件
删除该文件的一下内容：

<dependency>
  <groupId>org.apache.commons</groupId>
  <artifactId>commons-io</artifactId>
  <version>1.3.2</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>commons-httpclient</groupId>
  <artifactId>commons-httpclient</artifactId>
  <version>3.1</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-test</artifactId>
  <version>2.0.0-mr1-cdh4.3.1</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>4.8.2</version>
  <scope>test</scope>
</dependency>

并修改如下：

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.3.1</version>
</dependency>

4.将windows系统下的文件上传到服务器的hadoop系统上，使用sftp工具在windows系统下找到hadoop项目文件和老师所给的transactions.txt和users.txt文件通过拖拽到服务器上的hadoop文件系统即可，也可以通过复制粘贴方法。

5.通过putty工具远程连接服务器主机

6.格式化配置的HDFS文件系统：hadoop namenode -format

7.进入hadoop文件系统：cd /usr/local/hadoop

8.依次创建对应的数据所在文件夹
注意：新建目录集/user/path/users与/users/path/transactions/ 请注意，目录需要一层层创建，否则会出错。

9.把hadoop系统中的transactions.txt和users.txt文件放到users与transactions文件夹中。

10.进入到该项目的target目录下启动分布式文件系统：start-dfs.sh和start-yarn.sh

10.执行该命令运行该项目：

hadoop jar java-mapreduce-1.0-SNAPSHOT-jar-with-dependencies.jar

Transactions的路径：

/home/hadoop/Hadoop_3/hive/data/transactions

Users的路径：
/home/hadoop/Hadoop_3/hive/data/users

/home/hadoop/Hadoop_3/java-mapreduce/target

11.在网页输入主机IP+:9870地址,查看运行结果输出的文件

三、中间遇到的问题

1.在网页没有查看到output文件
需要把staging文件夹通过命令行删除：
bin/hadoop fs -rm -r /user/path/staging
错误显示界面如下：

正确显示界面如下；

2.点击Download无法下载问题，浏览器显示访问的网页无法访问问题
在自己windows-》System32-》drivers-》etc-》hosts文件使用记事本软件打开最后添加上自己服务器主机的：IP+主机名称（中间用一个英文空格隔开）。修改完成即可通过浏览器访问下载文件

下载的结果文件使用记事本打开如下：

四、实验总结：
虽然本次实验画了一些时间，去摸索查资料如何运行hadoop项目。在操作过程中也踩了不少的坑，但是到最后还是成功解决，在解决过程中需要内心去查资料，参考别人的解决方法。等自己把该项目运行成功就很有成就感，感觉并没有那么高深莫测也没有那么难，就是那样而已。