hadoop2.2安装过程（待整理）

 hadoop2.2安装过程

http://blog.csdn.net/licongcong_0224/article/details/12972889#comments

http://blog.csdn.net/gobitan/article/details/13503717

一．虚拟机安装

1. 虚拟机安装

 

2. VMware Tools安装：

   http://www.cnblogs.com/kingkoo/archive/2007/12/28/1018613.html

   http://www.myexception.cn/linux-unix/1214246.html

   http://ylq365.iteye.com/blog/1276807

3.虚拟机上网配置：

  http://wenku.baidu.com/link?url=UoA18L-Oh7H0dgwSEOUaW4nmQGJmxI8fBGH0rFK8cv0thTs9o0eY6MDwQGnTp4AmVecGvRC2amU533PGBAFzwHpfswHOb0zZgQY_RZAc4u3

4. 问题：虚拟机到主机可以ping通，但是反向不同关闭主机防火墙也不行

5.虚拟机之间的复制功能：http://www.xpgod.com/article/2298.html

二． centos6.3 64

1. 修改计算机名vi /etc/sysconfig/network   hostname=你要改的名字注意一定要重启机器才生效

1. Hadoop3  centos6.3可以上网。Nat 方式主机ping虚拟机不通，但是反过来可以通，并且都可以上网。后来调整为桥模式。就通了

2.虚拟机ftp service vsftpd start启动后 centos 本机可以访问ftp://192.168.1.6/。

  但是在虚拟机外的主机不能访问

3.共享文件ftp使用 WinSCP 工具

4. 安装 ssh。启动ssh : service sshd start 

5.免密码ssh设置

hadoop设置：

3.2免密码ssh设置（跟用户有关不同的人.ssh在不同的目录下）

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

重启 SSH服务命令使其生效 :service sshd restart

执行后如果出现 Agent admitted failure to sign using the key 

则执行 ssh-add   ~/.ssh/id_rsa 

如果出现 Could not open a connection to your authentication agent

则执行： ssh-agent bash

否则如下：

试了一下还是不行，看看log，究竟是哪里的问题

运行命令
[root@localhost ~]tail /var/log/secure
Authentication refused: bad ownership or modes for directory /root
看来是文件权限的问题
2.google一下，发现权限很重要
~/.ssh需要是700权限
authorized_keys需要是644权限

 

重新设置一下权限

[root@localhost ~]cd ..
[root@localhost /]chmod 700 root
[root@localhost /]cd 
[root@localhost ~]chmod 700 .ssh
[root@localhost ~]cd .ssh
[root@localhost .ssh]chmod 644 authorized_keys

 

然后再试，ok了

修改机器名后，出现如下：

用ssh登录一个机器（换过ip地址），提示输入yes后，屏幕不断出现y，只有按ctrl + c结束 

错误是：The authenticity of host '192.168.1.3 (172.18.19.XXX)' can't be established.

RSA key fingerprint is 5b:c2:e0:55:ea:9e:1e:55:6b:b4:66:1e:4e:b7:3b:e5.

Are you sure you want to continue connecting (yes/no)? yes

解决方案：

执行ssh  -o StrictHostKeyChecking=no 192.168.1.3　就OK

 

 

3.3 远程无密码ssh

进入003的.ssh目录

scp authorized_keys hduser@hadoop4:~/.ssh/authorized_keys_from_hadoop3

 

 

拷贝公钥的方法：

接下来，我们要将这个公钥(public key)复制到远程机器上面去，以前这是一个比较麻烦的事，但是，现在我们只要一个命令就可以搞定：

# ssh-copy-id -i /home/calvin/.ssh/id_rsa.pub username@@remoteserver.com

用自己实际的用户名与服务器地址取代username和remoteserver.com（下同），也可以直接填服务器的IP。
在这里，你可以再试下ssh到远程服务器，应该是不会再提示要密码而直接登陆进去了。

当然，如果你的机器没有ssh-copy-id这个命令，我们也可以使用传统的方法：

# scp ~/.ssh/id_rsa.pub [email protected]:/home/username

然后，登陆到远程机器上进行下一步的操作：

# ssh [email protected]
# cat ~/id_rsa.pub >> ~/.ssh/ authorized_keys

接下来，我们要给~/.ssh/authorized_keys2 correctly这个文件设置正确的权限（权限不对，证书会被拒绝）

# chmod 644 ~/.ssh/ authorized_keys

 

Hadoop4 网络问题；自己ping自己不通

20131217 配置到这里

 

三。部分 java 安装

4.2、安装jdk（这里以.tar.gz版本，32位系统为例）

安装方法参考http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html 

4.2.1选择要安装java的位置，如/usr/目录下，新建文件夹java(mkdirjava)

4.2.2将文件jdk-7u40-linux-i586.tar.gz移动到/usr/java

4.2.3解压：tar -zxvf jdk-7u40-linux-i586.tar.gz

4.2.4删除jdk-7u40-linux-i586.tar.gz（为了节省空间）

至此，jkd安装完毕，下面配置环境变量

4.3、打开/etc/profile（vim /etc/profile）

在最后面添加如下内容：

JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）

CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOMECLASSPATH PATH

4.4、source /etc/profile

4.5、验证是否安装成功：java –version

 

三。部分

第二部分集群环境搭建

1、这里我们搭建一个由三台机器组成的集群：

192.168.0.3     hadoop /123456       hadoop3       nn/snn/rm        CentOS6 64bit

192.168.0.4     hadoop /123456        hadoop4       nn/snn/rm        CentOS6 64bit

3、复制到其他节点

20131215配置到ssh hdoop3无密码登陆

 

 

配置文件3：slaves（这个文件里面保存所有slave节点）

 

4.

scp authorized_keys hduser@hadoop4:~/.ssh/authorized_keys_from_hadoop3

 

cat authorized_keys_from_hadoop3>> authorized_keys

 

5.运行

5.1格式化

Cd : hadoop-2.2.0/

./bin/hdfs namenode –format

命令执行成功标志如下

确定不报错，且出现如下信息：（其中172.21.0.32是我的主机ip）
 
/************************************************************
 
SHUTDOWN_MSG:Shutting down NameNode at 172-21-0-32.openstacklocal/172.21.0.32
 
************************************************************/

问题：执行命令时详细日志自己csdn博客

处理：cd /logs

      rm -rf ./

      rm -rf ./*

 原因：20141217 在搭建公司spark 集群时终于发现原因是因为 –format  这里的- 是从网上复制的，原因是因为- 是中文导致的。大家特别注意。

5.2 启动（参考http://www.tuicool.com/articles/7Jr632）

./sbin/start-dfs.sh

验证：

执行java 命令（查看进程）： Jps

名字节点提示：namenode secondarynamenode

数据节点提示：21618 DataNode

5.3 启动yarn

./sbin/start-yarn.sh

执行java 命令（查看进程）： Jps

 

//以下2条有问题

1.查看HDFS:   http://16.187.94.161:50070

50070是resourcemanager

启动命令yarn-daeme.sh start resourcemanager
这是2.0以后版本的启动命令

 

查看RM:    http:// 16.187.94.161:8088

./bin/hdfs dfsadmin –report 

./bin/hdfsfsck / -files -blocks

./bin/hdfs dfs –mkdir /input

 

问题：jps 命令

测试端口命令：ping 127.0.0.1：1234

 

备注：