VMWare Workstation8.0上安装和配置Hadoop群集环境
在VMWareWorkstation8.0上安装和配置Hadoop群集环境
VMWare Workstation：VMware® Workstation8.0.0build-471780
JDK：1.6.0_25
Hadoop：hadoop-0.21.0
Linux：CentOS Release 5.5
Linux客户端：SSHSecureShellClient-3.2.9
启动后直接按回车键，即可进入图形安装界面；
直接选择下一步，并且选择英文字符，避免以后出现字符错乱问题，所以现在我们所有字符都已英文为主；
这里我们选择默认分区，不在自定义，为了节省更多的时间！！
然后就是选择时区，和设置root密码的截图，这里省略，不做截图，我选择上海的时区，密码：redhat;
这里可以选择server，和server-gui，也可以省略，全部不选择，来节约更多时间来按照其他节点。然后直接下一步
重启下系统，
最后进行完成工作；finish工作。
以此类推，按照类似步骤安装完成，3个节点的虚拟机环境，Redhat01,02,03这3个节点、
配置虚拟机的IP地址
用root账号登陆虚拟系统，输入以下命令：
配置如下模式，请知晓
修改主机名称：
笔者测试环境的虚拟机的IP地址和主机名的对应情况如下：
RedHat01 192.168.0.231 redhat01
RedHat02 192.168.0.232 redhat02
RedHat03 192.168.0.233 redhat03
并保持他们之间的网络相关可以PING通。保证网络没有问题即可
安装JDK
①安装JDK之前，先下载用于登录Linux的客户端SSH Secure Shell Client。下载地址：http://www.onlinedown.net/softdown/20089_2.htm（如果地址无效，可在网上搜索SSH Secure）。
安装完成之后，将会有两个客户端，一个远程登录客户端，另一个FTP客户端④使用①中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。
Ø 执行下面的指令，编辑/etc/profile文件，进行环境变量的设置
Ø 在相应的位置添加下图中蓝色框的下面红色框所圈出的内容
Ø 重新开启远程登录客户端，重新登录【必须重新登录远程登录客户端，环境变量才会起作用】
Ø 输入javac指令验证JDK安装是否成功
如出现上述内容则说明JDK安装成功，并且环境变量配置成功
建立虚拟机之间SSH无密码登录
Ø 按照如下顺序，在192.168.0.231虚拟机中执行框出的指令
测试192.168.0.231无需密码登陆直接直接登陆redhat02,03机器；
安装hadoop
① 在官方网站上下载hadoop-0.21.0版本
② 打开①中安装的FTP客户端SSHSecure File Transfer Client，然后将下载的hadoop上传到虚拟机的 /usr目录下。（注：每台虚拟机都要hadoop的安装）
3 配置HADOOP环境变量【和配置JDK环境变量类似】
4. 配置Hadoop配置文件
Ø 更改hadoop安装路径/conf/hadoop-env.sh(三个虚拟机都配)
Ø 更改hadoop安装路径/conf/masters和slaves两个文件。只配置192.168.0.231虚拟机
配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。三个虚拟机都需要配置，并且配置的内容相同
至此，Hadoop框架在VMWareWorkstation虚拟机中安装任务全部结束。
进行验证安装是否成功
Ø 首先在192.168.0.231机器上执行如下指令，格式化文件系统
hdfsnamenode –format
执行结果如下：
Ø 然后在192.168.0.231机器上执行如下指令，启动HDFS文件系统
start-dfs.sh （停止HDFS文件系统：stop-dfs.sh）
执行结果如下：
Ø 执行如下指令，列出HDFS文件系统中存在的目录情况
hadoopfs –ls
执行结果如下：
Ø 关于hadoopfs指令的详细参数说明，请参照相关文档。
Ø 执行如下指令，启动MAPREDUCE框架
start-mapred.sh （停止MAPREDUCE框架：stop-mapred.sh）
执行结果如下：
Ø Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。
HDFS文件系统
浏览器中输入：http://192.168.0.231:50070/
浏览器中输入：http://192.168.0.231:50030
Ø 运行框架自带的wordcount示例
① 在192.168.0.231虚拟机中建立两个输入文件input1和input2
① HDFS中建立一个目录input
① 拷贝input1和input2两个文件到HDFS的input目录中
① 运行wordcount程序
① 查看运行结果
如果至此全部成功，那么恭喜整个Hadoop框架成功搭建与VMWareWorkstation软件中，下面的任务就是编写自己的程序，然后运行于该框架。尽情享受Hadoop的乐趣吧。
在安装过程中遇到了一些问题，就是在安装三个节点的时候，JDK大家在按照设置java_home的时候一定要注意前面的那个#,要去掉，呵呵，不然到时无法启动HDFS，还有就是50030这个端口无法访问！估计我的map-redouce没有做好，下来自己再看看！