前提:虚拟机中以安装好Hadoop集群。
解压Eclipse即可,进入eclipse解压之后的目录
执行命令
./eclipse
使用图形化界面的复制粘贴,亦或是命令行下使用cp命令。
启动eclipse
1,点击preferences,进入,
2、看到左边有一个map/reduce,点击,点击browser,添加自己的Hadoop路径,然后点击左下角的OK
3、再次点击preferences,点击show view,然后选择MapReduce Tool下的黄色小象,然后OK
4、会发现在控制台那里,多出了一个小象的框
5、点击Map/Reduce下方的白色区域,new一个hadoop location。
6、配置相应的端口
7、确认之后控制台界面那边会多出一个配置
点击上面的hadoop出现提示,不用理睬
8、点击左上角的File,然后新建,然后点击其他
9、创建一个Map/Reduce project
点击next,然后输入自己的工程名称,点击finish,会自动帮你生成一个带hadoop相应的jar包的文件,左上角还会出现一个DFS文件。
DFS location是要可以打开的,才算是正确执行完成,不然是错误的哦。在这里就是你的hdfs文件存储的路径,可以在这里直接创建、删除、上传、下载文件,每次执行完记得右键刷新,因为不会自动刷新
10、把hadoop下的三个文件复制到在项目下,可以在eclipse中执行hadoop
Core-site.xml
Hdfs-site.xml
Log4j.properties
这三个文件在你安装的hadoop下的etc下的hadoop文件夹里面
这个是我的个人目录:/home/ljl201611701118/hadoop-2.5.2/etc/hadoop
移动到工程目录src的同级目录
到这一步,已经完成了eclipse中配置hadoop插件了,可以愉快的在eclipse上进行hadoop的代码编写啦。
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class Sort {
//map将输入中的value化成IntWritable类型,作为输出的key
public static class Map extends Mapper
2、编写sort.txt文件
3、上传到指定目录DFS中
DFS localtion下创建这个目录,并上传文件
创建目录
上传文件,先把sort文件移动到linux中,然后点击upload file to DFS...
上传成功
4、运行
右键点击文件,Run As --》 java Application
5、运行成功
6、查看结果
在DFS location下查看(文件太大好像无法查看,可以通过命令行查看)
自动生成程序中写的输出目录,part-r-00000就是输出结果
通过命令行查看
hadoop fs -cat /myMapreduce/wordcount/part-r-00000 grep | head -n 300
配置和运行都成功啦,开始继续学习啦。
如果对你有帮助,点个赞啦,(๑′ᴗ‵๑)I Lᵒᵛᵉᵧₒᵤ❤