hadoop安装笔记

一、设置Linux的静态IP

修改桌面图标修改，或者修改配置文件修改

1、先执行ifconfig，得到网络设备的名称eth0

2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件

设置静态ip、dns、ip地址、子网掩码、网关等信息

3、重启网卡：service network restart

最后执行ifconfig命令查看是否修改成功

该步骤需保证虚拟机中的Linux能与客户机在同一网段并且ping通

 

二、修改主机名

修改当前会话主机名（当前会话生效）：hostname 主机名

修改配置文件主机名（永久生效）：vi /etc/sysconfig/network

重启机器查看是否修改成功：

其中hadoop为主机名

 

三、把hostname和ip绑定

修改hosts文件：vi /etc/hosts文件，增加一行

192.168.1.214     hadoop

验证：ping hadoop

 

四、关闭防火墙：service iptables stop

1、   查看防火墙状态：service iptables status

2、   关闭防火墙：service iptables stop

3、   关闭防火墙的自运行：

a)    查看自运行状态：chkconfig --list | grep 'iptables'

[root@hadoop sysconfig]# chkconfig --list | grep 'iptables'

iptables        0:关闭  1:关闭  2:启用  3:启用  4:启用  5:启用  6:关闭

b)    关闭：chkconfig iptables off

[root@hadoop sysconfig]# chkconfig iptables off

c)    再次查看自运行状态：chkconfig --list | grep 'iptables'

[root@ hadoop sysconfig]# chkconfig --list | grep 'iptables'

iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关

这样下次开机的时候就会不开启防火墙了

 

五、ssh免密码登陆

1、生成秘钥文件

进入~/.ssh文件夹

注意：

1.如果没有.ssh文件夹，就使用ssh协议登录一次试试

2.如果还是没有.ssh文件夹，就自己创建一个。修改文件夹权限为700

cd  ~

cd  .ssh

生成秘钥：ssh-keygen -t rsa 

 

查看.ssh文件夹中已经多出了两个文件id_rsa和 id_rsa.pub

[root@hadoop .ssh]# ls

id_rsa  id_rsa.pub

 

2、查看秘钥文件是否生成成功

查看id_rsa.pub中的秘钥文件，反正我是看不懂

 

3、将id_rsa.pub文件内容放入到authorized_keys中

 [root@hadoop .ssh]# cp id_rsa.pub authorized_keys

[root@hadoop .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub

为什么要复制出一份authorized_keys文件？

答：因为SSH在运行的时候会读取authorized_keys文件

 

 

4、验证是否免密码登陆：ssh localhost

使用localhost，不输密码登陆：ssh localhost

[root@hadoop .ssh]# ssh localhost

The authenticity of host 'localhost (127.0.0.1)' can't be established.

RSA key fingerprint is 8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

Last login: Sun Apr  5 17:45:25 2015

验证：退出登陆

[root@hadoop ~]#exit

 

[root@hadoop ~]#exit

再次输入exit的时候将会退出终端

 

六、安装JDK

1、授予执行权限：

chmod u+x jdk-6u24-linux-i586.bin

2、解压缩：./jdk-6u24-linux-i586.bin

[root@hadoop local]# ./jdk-6u24-linux-i586.bin

3、回车，查看jdk1.6.0.24文件夹

4、将jdk1.6.0_24重命名为jdk：mv jdk1.6.0_24/ jdk

5、配置环境变量：

编辑/etc/profile文件,增加如下代码

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

 

6、使设置立即生效：

source /etc/profile，再输入java –version时已经可以看到java版本了

 

七、伪分布安装hadoop

1、解压缩hadoop-1.1.2.tar.gz

            tar –zxvf hadoop-1.1.2.tar.gz

            为了方便重命名为hadoop：mv hadoop-1.1.2 hadoop

2、添加到环境变量中

编辑/etc/profile文件,增加红色字体文件

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

3、使设置立即生效：

source /etc/profile

 

4、修改hadoop的配置文件

$HADOOP_HOME/conf目录下的配置文件

修改以下4个配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

修改内容如下：

1.hadoop-env.sh修改内容如下：

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml修改内容如下：

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop:9000</value>

        <description>change your own hostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

3.hdfs-site.xml修改内容如下：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml修改内容如下：

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

        <description>change your own hostname</description>

    </property>

</configuration>

 

4.1修改hadoop-env.sh（第9行）

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

取消#号注释

注意：jdk的安装路径

4.2修改core-site.xml

注意：主机名称（这里是hadoop）

源文件内容

将需要修改的configuration中内容复制进去

4.3   修改hdfs-site.xml

源文件内容

复制修改

 

4.4修改mapred-site.xml

源内容

同样复制内容。注意修改主机名

注意：主机名称（这里是hadoop）

 

5、对hadoop进行格式化

命令：hadoop namenode -format

如果格式化过程中出现错误，则删除hadoop/tmp文件夹。重新格式化即可

 

6、启动hadoop

命令：start-all.sh

停止hadoop：stop-all.sh

 

共启动5个java进程

7、验证是否启动hadoop：

7.1通过jps验证是否共5个java进程

（jps命令在windows中也有）

7.2 通过浏览器端口验证

注意：如果想在windows下访问。需要修改windows/system32/dirves/etc/host文件

增加如下映射

192.168.1.214  hadoop

 

浏览器地址输入： http://hadoop:50070/

或者： http://hadoop:50030/

出现如下界面说明hadoop的NameNode正在运行，启动成功。

输入：http://hadoop:50030/

出现如下界面，说明Hadoop的Map/Reduce正在运行，启动成功。

8、消除start-all.sh时候的警告信息

出现上面警告信息的原因为：hadoop-config.sh文件中的如下代码

主要是：$HADOOP_HOME_WARN_SUPPRESS变量内容为空

解决办法是设置该变量不为空即可！

修改/etc/profile文件，增加如下代码

export  HADOOP_HOME_WARN_SUPPRESS=1

 

然后使设置生效：source /etc/profile

 

 

 

 

 

来自为知笔记(Wiz)