hadoop安装笔记

一、设置Linux的静态IP
修改桌面图标修改，或者修改配置文件修改
1、先执行ifconfig，得到网络设备的名称eth0
2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件
设置静态ip、dns、ip地址、子网掩码、网关等信息
3、重启网卡：service network restart
最后执行ifconfig命令查看是否修改成功
该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通

 

二、修改主机名
修改当前会话主机名（当前会话生效）：hostname 主机名
修改配置文件主机名（永久生效）：vi /etc/sysconfig/network

 重启机器查看是否修改成功：

其中hadoop为主机名

 

三、把hostname和ip绑定
修改hosts文件：vi /etc/hosts文件，增加一行
192.168.1.214     hadoop

验证：ping hadoop

 
 四、关闭防火墙：service iptables stop
1、查看防火墙状态：service iptables status
2、关闭防火墙：service iptables stop
3、关闭防火墙的自运行：
a)查看自运行状态：chkconfig --list | grep 'iptables'
[root@hadoop sysconfig]# chkconfig --list | grep 'iptables'
iptables        0:关闭  1:关闭  2:启用  3:启用  4:启用  5:启用  6:关闭
b)关闭：chkconfig iptables off
[root@hadoop sysconfig]# chkconfig iptables off
c)再次查看自运行状态：chkconfig --list | grep 'iptables'
[root@ hadoop sysconfig]# chkconfig --list | grep 'iptables'
iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关闭
这样下次开机的时候就会不开启防火墙了

 

 五、ssh免密码登陆
1、生成秘钥文件
进入~/.ssh文件夹

cd  ~
cd  .ssh
注意：
如果没有.ssh文件夹，就使用ssh协议登录一次试试
如果还是没有.ssh文件夹，就自己创建一个。修改.ssh文件夹权限为700
生成秘钥：ssh-keygen  -t  rsa

 查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub
[root@hadoop .ssh]# ls
id_rsa  id_rsa.pub

 

2、查看秘钥文件是否生成成功
查看id_rsa.pub中的秘钥文件，反正我是看不懂

 

3、将id_rsa.pub文件内容放入到authorized_keys中
 [root@hadoop .ssh]# cp id_rsa.pub authorized_keys

[root@hadoop .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub
为什么要复制出一份authorized_keys文件？
答：因为SSH在运行的时候会读取authorized_keys文件

 

4、验证是否免密码登陆：ssh localhost
使用localhost，不输密码登陆：ssh localhost
[root@hadoop .ssh]# ssh localhost
The authenticity of host 'localhost (127.0.0.1)' can't be established.
RSA key fingerprint is 8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
Last login: Sun Apr  5 17:45:25 2015

验证：退出登陆
[root@hadoop ~]#exit

 [root@hadoop ~]#exit
再次输入exit的时候将会退出终端

 

六、安装JDK

需下载 jdk-6u24-linux-i586.bin文件，并cp到usr/local目录下
1、授予执行权限：
chmod u+x jdk-6u24-linux-i586.bin

 2、解压缩：./jdk-6u24-linux-i586.bin
[root@hadoop local]# ./jdk-6u24-linux-i586.bin
3、回车，查看jdk1.6.0.24文件夹

4、将jdk1.6.0_24重命名为jdk：mv jdk1.6.0_24/ jdk
5、配置环境变量：编辑/etc/profile文件,增加如下代码
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH

 6、使设置立即生效：source /etc/profile

再输入java –version时已经可以看到java版本了

 
 七、伪分布安装hadoop

需下载hadoop-1.1.2.tar.gz文件，并且cp到usr/local目录下
1、解压缩hadoop-1.1.2.tar.gz： tar –zxvf hadoop-1.1.2.tar.gz

 为了方便重命名为hadoop：mv hadoop-1.1.2 hadoop
2、添加到环境变量中
编辑/etc/profile文件,增加红色字体文件
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 3、使设置立即生效：source /etc/profile

 4、修改hadoop的配置文件：$HADOOP_HOME/conf目录下的配置文件
修改以下4个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
每个配置文件修改内容如下：

hadoop-env.sh修改内容如下：

取消下面一行的注释：注意jdk的安装路径

export JAVA_HOME=/usr/local/jdk/

 

以下3个配置文件，需要替换<configuration>中内容

core-site.xml修改内容如下：注意：hadoop为主机名称

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change your own hostname</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>

 

hdfs-site.xml修改内容如下：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

 

mapred-site.xml修改内容如下：同样需要注意修改主机名称：hadoop

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

 5、对hadoop进行格式化

命令：hadoop namenode -format
如果格式化过程中出现错误，则删除hadoop/tmp文件夹。重新格式化

6、启动hadoop
启动：start-all.sh
停止：stop-all.sh

共启动5个java进程

7、消除start-all.sh时候的警告信息

 出现上面警告信息的原因为：hadoop-config.sh文件中的如下代码

 主要是：$HADOOP_HOME_WARN_SUPPRESS变量内容为空
解决办法是设置该变量不为空即可！
修改/etc/profile文件，增加如下代码
export  HADOOP_HOME_WARN_SUPPRESS=1
 
最后使设置生效：source /etc/profile

 8、验证是否启动hadoop：
a)通过jps验证是否共5个java进程：jps命令在windows中也有

b) 通过浏览器端口验证
注意：如果想通过主机名在windows下访问。需要修改windows/system32/dirves/etc/host文件
增加如下映射
192.168.1.214  hadoop

浏览器地址输入： http://hadoop:50070/  或者： http://hadoop:50030/验证
出现如下界面说明hadoop的NameNode正在运行，启动成功。

 

输入：http://hadoop:50030/
出现如下界面，说明Hadoop的Map/Reduce正在运行，启动成功。

 

PS：

至此，hadoop的伪分布安装完成。至于上面的[root@hadoop ~]#、[root@fangzheng ~]#主机名称不一致不用在意，因为中间做过改动。安装过程中保证主机名都一致就行。

注意：改动主机名的时候需要改hadoop的2个配置文件中的主机名。