64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置

64位CentOS6.8安装hadoop伪分布与64位win10Eclipse的Hadoop开发框架配置

---

一：centos6.8安装

• 在相关网站下载centos6.8后，用vmware虚拟机安装
• 选择稍后安装操作系统
  
  
  
• 打开虚拟机前，选择操作系统镜像
  
• 进行手动安装
  
• 跳过检查
  
• 选择基本版
  
• 选择时区
  
• 一路确定
  
• 更改下虚拟机的网络模式，以便配置固定ip
  
• 打开centos虚拟机，分别修改/etc/resolv.conf /etc/sysconfig/network /etc/config/network-scripts/ifcfg-eth0来配置好网关,ip,DNS等
  
  
  
  
  
  
• 重启网络服务，看到ip被正确设置为192.168.1.109
  
  
• 调整SELinux的值
  
  
• 添加hadoop用户并设置密码
  
• 为hadoop用户配置ssh免密码登陆
  
  
  
  
  
  

二：Jdk1.7安装

• 在win10上下载jdk1.7 linux64位版本，在cmd相关目录下，用pscp工具传输到centos虚拟机的/java目录下
  
• 解压完jdk1.7的rpm后删除
  
  
• 配置java路径
  
  

三：在等待hadoop2.4下载的同时，配置下win10上的java1.8路径和eclipse的hadoop开发插件

• 在相关网站上下载好jdk和ant后在用户和系统环境变量下配置相应的home和path变量
  
  
• 验证ant是否安装成功
  
• 下载hadoop2x-eclipse-plugin-master.zip并解压
• 下载完整版的eclipse并解压
  
• 修改D：\Hadoop\2xplugin\ivy 的libraries.properties文件根据git-hub的介绍修改以符合你的Hadoop版本
  
• 进入D:\Hadoop\2xplugin\src\contrib\eclipse-plugin
• 输入ant jar -Dversion=2.4.0 -Declipse.home=D:\eclipse\eclipse -Dhadoop.home=D:\hadoop\hadoop2.4.0\hadoop2.4.0
  
  网络问题它会卡一会来下东西
• 安装完后会看到以下截图
  
• 在D:\Hadoop\2xplugin\build\contrib\ eclipse-plugin下会看到hadoop-eclipse-plugin-2.4.0.jar插件已经编译好了
  

四：我们去安装centOS下的hadoop2.4

• 将win10下下载的hadoop2.4包通过pscp工具传输到centOS的/usr目录下去
  
• 解压安装后删除hadoop24包并修改hadoop-2.4.0文件夹及其子目录的操作权限
  
  
• 为hadoop用户配置hadoop路径
  
  
  
• 修改/usr/hadoop/etc/hadoop下的hadoop-env.sh，为其配置java路径
  
• 修改/usr/hadoop/etc/hadoop下的core-site.xml配置map任务的临时目录，HDFS访问端口
  
  
• 修改/usr/hadoop/etc/hadoop下的hdfs-site.xml，配置分布式文件的备份数目，namenode的元文件目录，datanode的数据文件目录，是否开启网页查看功能
  
  
• 修改/usr/hadoop/etc/hadoop下的mapred-site.xml.template将它复制一份另外命名为mapred-site.xml打开它并修改job页面端口
  
  
• 修改/usr/hadoop/etc/hadoop下的yarn-site.xml
  
  
• 根据上面的配置文件在/usr/hadoop目录下创建tmp name data三个文件夹
  
• 修改/etc/hosts文件
  
• 格式化namenode
  
  
• 启动集群并启动historyserver
  
  
  

五：我们返回win10继续配置eclipse

• 将上面生成的hadoop-eclipse-plugin复制到eclipse的plugins目录下
  
• 打开eclipse选择windows->preferences选择hadoop Map/Reduce配置它关联的hadoop目录
  
  
• 打开windows->show view选择MapReduce Locations
  
• 找到MapReduce Locations窗口点击右边蓝色小象图标添加Hadoop Location
  
• 根据上面hdfs相关的xml里的配置来设置参数
  
  在连接了hadoop的终端里建个hello目录测试一下win10的插件是否配置成功