Hadoop 集群搭建

Hadoop环境

安装

• 官网:http://hadoop.apache.org/

• 下载地址:http://hadoop.apache.org/releases.html

• 安装步骤:

  • 下载安装包(废话)

  • 解压(废话)

  tar -zxvf hadoop-2.8.3.tar.gz  -C /usr/local/soft/  #将文件解压到/usr/local/soft下

  解压完的目录为

  bin #hadoop相关文件
  etc #配置文件

  include

  lib
libexec

  LICENSE.txt

  logs #日志文件

  NOTICE.txt

  README.txt

  sbin #启动脚本

  share #hadoop说明文档

  • 配置hadoop环境变量

  vi /etc/profile
  HADOOP_HOME=/usr/loca/soft/hadoop-2.8.3
  PATH=.:$PATH:$HADOOP_HOME/bin
  
  #保存
  
  source /etc/profile
  
  #验证
  
  hadoop version
  
  #如果有版本信息2.8.3表示安装成功
  

  ​

  • 修改hadoop-2.8.3/etc/hadoop/hadoop-env.sh文件

  25  export JAVA_HOME=/usr/local/apps/jdk1.8.0_1
  

  • 修改节点(node)配置文件

  vi hadoop-2.8.3/etc/hadoop/hdfs-site.xml
  

  <configuration>
    /*配置namenode节点服务器及端口*/
    <property>
      <name>dfs.namenode.rpc-addressname>
      <value>linux01:9000value>
    property>
    /*配置namenode节点数据存储位置*/
    <property>
      <name>dfs.namenode.name.dirname>
      <value>/root/hdpdata/namevalue>
    property>
    /*配置datanode节点数据存储位置*/
    <property>
      <name>dfs.datanode.data.dirname>
      <value>/root/hdpdata/datavalue>
    property>
  configuration>    
  

启动

• **初始化**hadoop(第一次需要)

  hadoop namenode -format

  注:

  执行完会自动生成/root/hdpdata文件夹

  这个命令只需要在namenode服务器执行,如果你的服务器不需要启动namenode,只需要启动datanode,则不需要执行此命令

• **启动**hadoop

  
  #启动namenode节点
  
  ./hadoop-2.8.3/sbin/hadoop-daemon.sh start namenode
  
  #启动datanode节点
  
  /hadoop-daemon.sh start datanode
  

批量操作

1. 配置slaves

   vi hadoop-2.8.3/etc/hadoop/slaves
   
   ##添加从节点机器名称(IP)
   
   
   #如:linux02 linux03 linux04
   

2. 启动

   ./hadoop-2.8.3/start-dfs.sh

3. 停止

   ./hadoop-2.8.3/stop-dfs.sh

配置SecondaryNameNode

#在hadoop-2.8.3/etc/hadoop/hdfs-site.xml   节点下添加

  <property>
    <name>dfs.namenode.secondary.http-addressname>
    <value>linux13:50090value>
  property>

注:配置完成可在linux13这台机器上启动一个副SecondaryNameNode节点