Hadoop初探系列(一)Windows下Hadoop环境搭建

在Windows下搭建Hadoop的学习环境最简单的方式是通过Cygwin模拟Linux环境,包含三大部分内容:安装、配置Cygwin,安装、配置Hadoop,配置eclipse。

系统&软件版本

系统:win7(64位)
Hadoop:1.2.1
Java:jdk1.7(64位)
Cygwin:2.852(64位)

安装&配置Cygwin

  1. 下载Cygwin
    Cygwin官方地址:http://cygwin.com,64位的安装文件下载链接为http://cygwin.com/setup-x86_64.exe,下载的是一个软件包下载和安装工具,安装和更新Cygwin下的软件都可以通过这个工具完成。
  2. 安装Cygwin
    • 双击setup-x86_64.ext文件运行安装向导

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第1张图片

    • 点击【下一步】按钮进入引导安装界面,选择“install from internet”

    • 点击【下一步】选择cygwin的安装目录

    • 点击【下一步】选择软件包下载目录

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第2张图片

    • 点击【下一步】选择网络连接方式

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第3张图片

    • 点击【下一步】将会列出所有可用的软件包下载镜像地址,我选择的是国内的163

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第4张图片

    • 点击【下一步】安装程序会连接镜像站点

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第5张图片

    • 镜像站点成功链接后将会弹出软件包选择窗口,在容器中选择要安装的软件包

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第6张图片

    • 点击【下一步】安装程序会列出所选软件包依赖的软件包,全选即可

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第7张图片

    • 点击【下一步】进入软件包下载和安装界面,这一步需要的时间比较长,请耐心等待

    • 下载和安装完成后将弹出以下界面,点击【完成】即完成了Cygwin的安装

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第8张图片


  3. 配置Cygwiin
    Cygwin的配置主要是配置ssh无密码登录,为Hadoop运行做好准备。
    • 安装ssh服务
      通过ssh-host-config命令可以在Cygwin下安装ssh服务,安装过程按下图进行选择:

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第9张图片

    • 启动ssh服务器
      根据上一步的提示,可以通过“cygrunsrc”或“net start sshd”来启动ssh服务,如果命令运行后没有错误提示,表示ssh服务安装成功。
    • 配置无密码登录
      1)通过ssh-keygen -t rsa生成公钥/私钥对,如下图:

      Hadoop初探系列(一)Windows下Hadoop环境搭建_第10张图片


      2)将公钥加入到authorized_keys
      cd ~/.ssh
      cp id_rsa.pub > authorized_keys,如果authorized_keys已经存在命令改为“cp id_rsa.pub >> authorized_keys”,如果不存在还需要执行命令
      chmod 600 authorized_keys。

    • 验证无密码登录
      ssh localhost,第一次运行ssh命令时可能会提示输入密码,这时直接按回车,如果不提示验证失败表明无密码登录配置成功。这时运行exit命令会有退出的提示,再次运行ssh localhost就不提示输入密码了。

安装&配置Hadoop

配置eclipse

遇到问题

参考资料

你可能感兴趣的:(Hadoop初探系列(一)Windows下Hadoop环境搭建)