Hadoop集群搭建

Hadoop集群搭建

Hadoop集群搭建是在云计算课程中所做的实验，搭建环境为Linux系统。

• 实验目的
  1、尝试虚拟机之间的通信，为配置Hadoop集群做准备。
  2、认识Hadoop集群，完成Hadoop集群配置
  3、Hadoop集群使用

• 实验软件

  1、 hadoop-2.6.5.tar.gz—— [ 下载地址]

  2、jdk-8u121-linux-x64.tar.gz—— [ 下载地址]

实验过程

• 1、每个组三台PC机，构成一个集群， 每三个人一组，在Vbox的配置—>网络中， 修改网络为：桥接网络；
  
  • 修改物理机和虚拟机的地址在同一网络，均使用192.168.X.Y，每组的X取值不同，以防地址冲突。
    IP配置命令：
    $ifconfig #查看IP配置
$sudo ifconfig eth0 192.168.2.1 netmask 255.255.255.0
  • 测试组内所有的物理机、虚拟机相互之间是否可ping通。

• 2、Hadoop集群搭建

  • （1）解压Hadoop安装包
    $ tar –zxvf /mnt/hgfs/share/hadoop-0.20.2.tar.gz
  • （2）解压jdk安装包
    $ tar –zxvf /mnt/hgfs/share/jdk-8u121-linux-x64.tar.gz
  • （3）在所有的机器上建立相同的用户
  • （4）修改hosts文件，使得三个节点可使用机器名相互访问
    
    

  • （5）SSH配置
    在所有机器上建立.ssh目录：
    $ mkdir .ssh，在ubuntunamenode上生成密钥对：
$ ssh-keygen -t rsa（一路回车）
$cd ~/.ssh
$cp id_rsa.pub authorized_keys
    执行$ ssh localhost，可以实现用SSH连接并且不需要输入密码

    如若出现以下错误：
    
    解决方式：
[hadoop@Master .ssh]$ ssh -o StrictHostKeyChecking=no localhost

    -拷贝公钥到namenode节点（分步拷贝）：
    $scp authorized_keys test1:/home/grid/.ssh
$scp authorized_keys test2:/home/grid/.ssh

  • （6）在主节点上配置 编辑core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
    
    • core-site.xml

   <property>
        <name>hadoop.tmp.dirname>
        <value>/home/cluster/hadoop-2.6.5/tmpvalue>
        <description>Abase for other temporary directories.description>
property>
<property>
        <name>fs.defaultFSname>
        <value>hdfs://master:9000value>
property>
<property>
        <name>io.file.buffer.sizename>
        <value>4096value>
property>

• hdfs-site.xml

  <property>
             <name>dfs.namenode.name.dirname>
             <value>/home/cluster/hadoop-2.6.5/dfs/namevalue>
      property>
      <property>
              <name>dfs.datanode.data.dirname>
              <value>/home/cluster/hadoop-2.6.5/dfs/datavalue>
       property>
       <property>
               <name>dfs.replicationname>
               <value>2value>
               <description>nodes total countdescription>
       property>
       <property>
               <name>dfs.block.sizename>
               <value>33554432value>
        property>

• mapred-site.xml

 <property>
      <name>mapreduce.framework.namename>
      <value>yarnvalue>
      <final>truefinal>
  property>
  <property>
     <name>mapreduce.jobtracker.http.addressname>
     <value>master:50030value>
   property>
 <property>
     <name>mapreduce.jobhistory.webapp.addressname>
     <value>master:19888value>
 property>
<property>
     <name>mapreduce.jobhistory.addressname>
     <value>master:10020value>
property>

 <property>
         <name>mapred.job.trackername>
         <value>http://master:9001value>
  property>

• yarn-site.xml

 <configuration>
    <property>
         <name>yarn.resourcemanager.hostnamename>
         <value>mastervalue>
    property>
    <property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
    property>
     <property>                          
        <name>yarn.nodemanager.vmem-check-enabledname>
        <value>falsevalue>
    property>
    <property>
        <name>yarn.resourcemanager.addressname>
        <value>master:8032value>
    property>
<property>
        <name>yarn.resourcemanager.scheduler.addressname>
        <value>master:8030value>
    property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.addressname>
        <value>master:8031value>
    property>
    <property>
        <name>yarn.resourcemanager.admin.addressname>
        <value>master:8033value>
    property>
    <property>
        <name>yarn.resourcemanager.webapp.addressname>
        <value>master:8088value>
    property>

• （7）Hadoop运行
  
  • 格式化分布式文件系统
    $bin/hadoop namenode -format
  • 启动Hadoop守护进程
    $ bin/start-all.sh
$/usr/java/jdk1.6.0_24/bin/jps

---

* 牵着时光的衣襟，走进芳菲五月，轻轻地将春光拥入怀中，于一抹素白流韵中，弹奏一曲江南的婉韵，把盏，将似水流年浅斟轻酌。*

结尾

第一次写博客，如有差错请友友们指教！

目录

---