hadoop 分布式环境搭建

准备

  • 在 vmware 虚拟机中安装 Linux 系统
  • 安装 vmware-tool 工具,可以增强桌面显示效果,还可以和宿主机用共享文件夹的方式传递文件
    • 解压 vmware-tool.iso 文件,sudo ./vmware-install.pl 执行安装脚本即可
    • 启用共享文件夹

搭建分布式系统需要多台虚拟机

  • 创建用户组和用户
  • 第一台虚拟机在关机状态下创建一个完整克隆,就有了两台虚拟机(有两台以上真机更好,这里只能虚拟几台了)

修改主机名

  • 修改 /etc/hostname ,添加 jason
  • 修改 /etc/hosts ,添加 192.168.1.200 jason192.168.1.201 jason2 (可以把ip设置成固定的)
  • 修改第二台 /etc/hosts ,添加 192.168.1.200 jason192.168.1.201 jason2 (检测互相 ping 通)

SSH 无密码验证

  • sudo apt-get install openssh-server(如果是CentOS,就用sudo yum install openssh-server),安装客户端
  • ssh-keygen -t rsa -P,生成公钥和私钥
  • 查看路径/home/jason/.ssh文件里是否有id_rsaid_rsa.pub
  • 将公钥赋给 authorized_keys:cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
  • 无密码登录:ssh localhost
  • 在 jason 上执行:ssh-copy-id jason2,查看 jason2的/home/jason/.ssh文件里是否有authorized_keys
  • 在 jason2 上执行相同的操作

安装 JDK

  • 先卸载自带的 openjdk
    • rpm -qa | grep jdk 找到系统自带的版本,
    • yum -y remove ***** 卸载之,
  • /usr/local/ 目录下创建文件夹 jdk ,把要安装的jdk解压到这个目录下
  • 配置环境变量 vim /etc/profile ,添加下面的配置
    • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_171
      export JRE_HOME=$JAVA_HOME/jre
      export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
      export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
      PS:可以把 bin 和 sbin 都配置在 PATH 中,方便以后使用;
    • 执行命令,使配置生效:source /etc/profile
    • 执行命令:java -version,若出现java版本号,则说明安装成功

hadoop 集群安装

  • 解压 hadoop-2.6.0.tar.gz/home/jason/ 目录,把名字改成 hadoop,
  • 配置环境变量 vim /etc/profile ,添加下面的配置
    • export HADOOP_HOME=/home/jason/hadoop
      export PATH=$HADOOP_HOME/bin:$PATH
  • 修改 hadoop 配置文件,在hadoop/etc/hadoop目录下,有 7 个:
    • 1, 配置 hadoop-env.sh 文件-->修改 JAVA_HOME
      • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
    • 2, 配置 yarn-env.sh 文件-->修改 JAVA_HOME
      • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_71
    • 3,配置slaves文件-->>增加 slave 节点
      • 删除 localhost, 增加jason jason2
    • 4,配置 core-site.xml 文件-->>增加 hadoop 核心配置


     fs.defaultFS
     hdfs://jason:9000


    io.file.buffer.size
    131072


    hadoop.tmp.dir
    file:/home/jason/hadoop/tmp
    Abasefor other temporary directories.


   hadoop.native.lib
   true
   Should native hadoop libraries, if present, be used.
 


  • 5,配置 hdfs-site.xml 文件-->>增加hdfs配置信息(namenode、datanode端口和目录位置)


    dfs.namenode.secondary.http-address
    jason:9001



    dfs.namenode.name.dir
    file:/home/jason/hadoop/dfs/name



    dfs.datanode.data.dir
     file:/home/jason/hadoop/dfs/data



    dfs.replication
    2



    dfs.webhdfs.enabled
    true



  • 6,配置 mapred-site.xml 文件-->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)


    mapreduce.framework.name
    yarn


    mapreduce.jobhistory.address
    jason:10020


    mapreduce.jobhistory.webapp.address
     jason:19888



  • 7,配置 yarn-site.xml 文件-->>增加yarn功能

 
      yarn.nodemanager.aux-services
      mapreduce_shuffle
 
 
     yarn.nodemanager.aux-services.mapreduce.shuffle.class
     org.apache.hadoop.mapred.ShuffleHandler
 
 
      yarn.resourcemanager.address
      jason:8032
 
 
     yarn.resourcemanager.scheduler.address
     jason:8030
 
 
      yarn.resourcemanager.resource-tracker.address
      jason:8035
 
  
      yarn.resourcemanager.admin.address
      jason:8033
 
 
      yarn.resourcemanager.webapp.address
      jason:8088
 




  • 8,将配置好的 jason 中/hadoop/etc/hadoop文件夹复制到到 jason2 对应位置(删除 jason2 原来的文件夹/hadoop/etc/hadoop)
    在 jason 中执行拷贝命令: scp -r /home/jason/hadoop/etc/hadoop/ jason@jason2:/home/jason/hadoop/etc/

验证安装

  • 格式化 namenode
    • 执行 ./bin/hdfs namenode -format 出现“successfully formatted”就表示成功了
  • 启动 hdfs
    • 执行 ./sbin/start-dfs.sh
  • 查看 java 进程
    • 执行 jps
  • 停 止 hdfs
    • 执行 ./sbin/stop-dfs.sh
  • 启动 yarn
    • 执行 ./sbin/start-yarn.sh
  • 查看 java 进程
    • 执行 jps
  • 停 止 yarn
    • 执行 ./sbin/stop-yarn.sh
  • 查看集群状态
    • 启动:./sbin/start-dfs.sh
    • 查看:./bin/hdfs dfsadmin -report
  • 查看hdfs: http://jason:50070/
  • 查看yarn: http://jason:8088/

运行 wordcount 程序

wordcount 程序由 hadoop 提供,位于share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar内。

  • 创建 file目录

  • 在 file 中创建 file1.txt、file2.txt 并写内容:
    file1.txt输入内容:Hello world hi HADOOP
    file2.txt输入内容:Hello hadoop hi CHINA

  • 在 hdfs 创建 /input2 目录: ./bin/hadoop fs -mkdir /input2

  • 将file1.txt、file2.txt文件 copy 到 hdfs /input2 目录:./bin/hadoop fs -put file/file*.txt /input2

  • 查看hdfs上是否有file1.txt、file2.txt文件:hadoop fs -ls /input2/

  • 执行 wordcount 程序

    • 先启动 hdfs 和 yarn
    • 执行程序:./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount /input2/ /output2/wordcount1
  • 查看运行结果:/bin/hdfs dfs -cat /output2/wordcount1/*

你可能感兴趣的:(hadoop 分布式环境搭建)