最详细介绍之Hadoop安装方法及配置教程

参照Hadoop的伪分布式安装步骤的说明文档,在自己电脑上进行伪分布式安装。安装步骤如下：

一、JDK

1.安装JDK：
将jdk1.8.0_121文件安装到目录C:/Java。安装完成后进行环境变量的配置。
2.环境变量的配置：


%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

3.测试环境变量配置成功：

二、Cygwin的安装（在线安装）

1.双击setup.exe进行安装，点【下一步】选择Install from Internet，一直点下一步，下载地址选择带edu.cn的国内网站，下一步。
2.选择安装包：
（1）base全部
（2）Devel组件下的subversion
（3）Net组件下的openssh和openssl
（4）Editors下的vim
（5）Utils下的dos2unix
3.安装sshd服务：启动桌面Cygwin图标，输入ssh-host-config,当出现have fun时安装成功，然后启动sshd服务。
4.启动sshd服务：右击【我的电脑】，选择【管理】，在服务下选中CYGWIN sshd，右击启动服务。
5.配置ssh和登录ssh
（1）执行ssh-keygen命令生成秘钥文件，密码为hadoop。
（2）执行cd ~/.ssh
cp id_rsa.pub authorized_keys
exit 命令
（3）重新运行Cygwin，输入ssh localhost，按照提示输入yes,or。
（4）再次输入ssh localhost 显示下图，即为成功。

三、安装Hadoop

1.将 解压到当前目录，配置相关文件
(1)Hadoop-env.sh文件中，配置JDK的安装路径
export JAVA_HOME=/cygdrive/c/Java/jdk1.8.0_121(前面#删掉)
(2)配置core-site.xml
a.将core-default.xml文件复制到conf目录下，并重命名为core-site.xml
b.修改hdfs://localhost:9000
(3)配置hdfs-site.xml
a.复制hdfs-default.xml到conf下，并重命名hdfs-site.xml
b.修改数据存放副本数量为1：1
(4)配置mapred-site.xml
A.复制mapred-default.xml到conf下，重命名mapred-site.xml
B.修改端口：localhost:9001
(5)格式化namenode：
cd /d/hadoop-1.0.1/conf
dos2unix hadoop-env.sh
cd /d/hadoop-1.0.1/bin
./hadoop namenode -format
./start-all.sh