最开始是打算用IDEA连接hadoop的,无奈没有弄出来,正在研究中。后来发现用eclipse连接比较简单就换eclipse了。
网上的博客很多。。。但按网上调试的总有问题。经过一番摸索与百度,终于弄出来了,在这里写个博客,让跟我一样的菜鸟少走一点弯路。
在linux上打jar包运行太麻烦了,而且由于我比较菜,一个程序要改几次才能弄好,就更麻烦了。好了。正题如下。
最开始下的eclipse最新版,但是要求JDK1.8才能安装,按照网上说的linux与windows的jdk最好一个版本。所有我就想下一个eclipse老版本,但是又不知道下哪一个版本。
后来看网上说的3.7.2比较稳定而且占用系统资源比较小,我就下了这个版本,还好能用。。。
附上下载地址 http://www.eclipse.org/downloads/packages/release/indigo/sr2选择Eclipse Classic 3.7.2旁边的windows 64bit点击下载。然后安装。
1.准备工作:首先在Windows下C:\Windows\System32\drivers\etc的hosts文件下新加一行
192.168.132.104 master
对应你namenode的ip和对应的主机名,我这里是master。
在windows下打开浏览器输入master:50070如果显示出页面,说明修改成功。
下载winutils.exe(对应于hadoop-2.6.0版本),将其加入windos的PATH环境变量中,例如我这里是将
先解压hadoop-2.6.0到F盘,然后将winutils.exe复制到hadoop-2.6.0的bin目录下
在Windows环境变量设置中新增HADOOP_HOME,然后在PATH中加入一行$HADOOP_HOME/bin。
2.下载hadoop-eclipse-plugin-2.6.0.jar并将其移动到eclipse安装目录下的plugin文件夹中。
3.启动eclipse,如果之前启动了那么在移动jar文件后重启eclipse。下面的操作都是在eclipse上。
3.1打开Window-->Preferens,可以看到Hadoop Map/Reduc选项
点击Hadoop Map/Reduc然后输入你解压hadoop-2.6.0在windows本地的路径。
3.2点击Window-->Show View -->other –>MapReduce Tools –>Map/ReduceLocation
在弹出来的页面黄色小象下面空白处右键单击然后点击New hadoop location,打开Hadoop Location配置窗口
输入Location Name,任意名称即可
Host填你namenode的主机名称,如果windows下没配DNS解析,那么这里填你对应的IP。
Map/Reduce Master中port 填9001, 与Hadoop配置文件yarn-site.xml 的yarn.resourcemanager.resource-tracker.address 的端口一致
DFS Masterport 填9000,与Hadoop配置文件core-site.xml中fs.defaultFS 的端口号一致。
配置完后点击下面的Finsh。
然后点击小象旁边的最小化。
如果配置正确。会出现如下界面
在蓝色小象的下边可以查看你的HDFS上的文件。
接下来我们来实现第一个hadoop项目
1点击eclipse左上角的file -》new--》other--》map/reduceproject会出现如下界面
给你的项目起个名字然后点击Finish。然后出现如下界面。
然后在wordcount目录下的src目录新建java class。
把你的代码放上去。然后进行运行前的工作。
用ftp工具将linux上的hadoop-2.6.0/etc/hadoop/2个文件复制到本地
然后复制后在src目录下点击paste。
最后还要导入2个jar包。hadoop-mapreduce-client-core-2.6.0-cdh5.4.1.jar,hadoop-mapreduce-client-common-2.2.0.jar
jar包路径如下:F:\work-space\hadoop-2.6.0-cdh5.4.1\share\hadoop\mapreduce2
最后在linux上的namenode机器上修改etc/hadoop/hdfs-site.xml增加
然后重启hadoop和eclipse。
最后运行java文件选择run on hadoop。
选择你配置好了的server。点击Finish,程序成功运行。
新手上路,多多指教!