Eclipse大数据开发环境搭建

一、安装jdk 并配置环境变量
下载安装jdk后,配置环境变量,主要配置JAVA_HOME\PATH\CLASSPATH;
如:jdk安装目录为C:\Program Files\Java\jdk1.7.0_03
JAVA_HOME配置为:C:\Program Files\Java\jdk1.7.0_03
CLASSPATH配置为:;C:\Program Files\Java\jdk1.7.0_03\lib(注意开头的分号)
PATH添加配置:C:\Program Files\Java\jdk1.7.0_03\bin;D:\BigdataSoft\hadoop-2.6.0\bin;
验证:输入java -version命令查看java版本信息
二、安装Eclipse,创建java项目,看java是否部署成功
三、构建mapreduce项目
1、安装hadoop-eclipse插件
下载对应版本的hadoop-eclipse插件,放到eclipse安装目录下的dropins目录下,重新启动eclipse。
Eclipse大数据开发环境搭建_第1张图片
构建mapreduce项目,在新建项目选择目录中会出现mapreduce项目
Eclipse大数据开发环境搭建_第2张图片
2、创建wordcount项目,配置hadoop安装目录

Eclipse大数据开发环境搭建_第3张图片
Eclipse大数据开发环境搭建_第4张图片

3、配置DFS locations
切换到页签Map/Reduce Locations,
Eclipse大数据开发环境搭建_第5张图片
如果没有在Windows —> show view----->other…中添加
Eclipse大数据开发环境搭建_第6张图片
添加及编辑按钮如下图
在这里插入图片描述
添加配置:
Eclipse大数据开发环境搭建_第7张图片

4、添加wordcount类,源码从官网上查看,自己准备源数据,验证。
5、常见错误
1)log4j问题:将log4j文件添加都项目中
2)Hadoop环境变量没有配置或者配置有问题。
在这里插入图片描述
解决方法:配置hadoop环境变量
Eclipse大数据开发环境搭建_第8张图片
3)Eclipse大数据开发环境搭建_第9张图片
4)Eclipse大数据开发环境搭建_第10张图片
5)Eclipse大数据开发环境搭建_第11张图片
6)Eclipse大数据开发环境搭建_第12张图片
7)导入jar包

Eclipse大数据开发环境搭建_第13张图片
Eclipse大数据开发环境搭建_第14张图片
6、导出jar包
右键点击要导出的类,Export---->
Eclipse大数据开发环境搭建_第15张图片
点击next
Eclipse大数据开发环境搭建_第16张图片

你可能感兴趣的:(大数据,开发环境)