hadoop的搭建

one night in Beijing,地铁挤得要命.........

重新梳理下hadoop的搭建吧，毕竟有人说过，没搭过4、5遍hadoop的人不能算是真的会搭建

这次搭建的方法是利用VMWare10和CentOS的虚拟机环境，因为有些人感觉利用Linux的vi编辑不好用，所以我们可以利用winscp来对几个配置文件内容进行修改。

下面是搭建的过程：

1.修改主机名

 

1.1查看主机名:  hostname

1.2修改主机名:  vi /etc/sysconfig/network

1.3将主机名hostname与ip绑定:  vi /etc/hosts,增加一行内容例如：

  192.168.80.100   hadoop验证：ping hadoop

 

2.关闭防火墙

 

2.1查看防火墙状态：service iptables status

2.2关闭：service iptables stop

2.3关闭防火墙自动启动功能：chkconfig iptables off

 

3.设置ssh无密码登陆

 

3.1产生秘钥：ssh-keygen -t rsa 位于~/.ssh文件夹

3.2cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3.3验证：ssh localhost

exit (localhost退出)

exit (终端退出)

 

4.安装jdk

 

4.1用winscp将hadoop压缩包和jdk复制到/root/Downloads目录下

4.2  cd /usr/local

    rm -rf *  (删除所有)

4.3复制文件：  cp /root.Downloads/*  .

4.4给文件添加执行权限：chmod u+x jdk-6u24-linux-i586.bin

4.5安装jdk：  ./jdk-6u24-linux-i586.bin

4.6重命名：mv jdk1.6.0_24  jdk

4.5配置变量：vi etc/profile

  在# /etc/profile下添加export JAVA_HOME=/usr/lcoal/jdk

                        export PATH=.:$JAVA_HOME/bin:$PATH

  保存退出之后执行命令  source /etc/profile  让文件生效

  java -version检查jdk信息

 

5.安装hadoop

 

5.1解压：tar -zxvf hadoop-1.1.2.tar.gz

5.2重命名：mv hadoop-1.1.2  hadoop

5.3配置到环境中：vi etc/profile

  在# /etc/profile下添加export HADOOP_HOME=/usr/local/hadoop

  将export PATH=.:$JAVA_HOME/bin:$PATH

  修改为export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

  保存退出之后执行命令  source /etc/profile  让文件生效

5.4修改/usr/local/hadoop/conf下的配置文件hadoop-env.sh、core-site.xml

  hdfs-site.xml、mapred-site.xml(参考博客，用winscp改，注意主机名的区别)

 

6.运行

 

6.1格式化：hadoop  namenode  -format

6.2启动：start-all.sh

6.3检查进程启动情况：jps

6.4更改hosts文件：/system32/drivers/etc  添加一行：192.168.80.100  hadoop

 

        然后可以在windows下访问   hadoop:50030   hadoop:50070 检查mr任务执行情况

 

以上是单机情况下的伪分布式搭建，至于真正的集群搭建的注意事项等以后总结了在 继续更新博客。

补充：网上的介绍ssh的文章：http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html

          安装pig hbase hive可以用wget 例如：

          wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.0.2.tar.gz(需要下载的文件地址)