Hadoop的安装和伪分布式集群搭建

1.java安装

2.配置免密码登录

创建公钥和私钥

ssh -keygen -t rsa

将要登录者机器的公钥id_rsa.pub内容添加到被登录机器的authorized_keys中,修改authorized_keys权限

这里模拟本机登录本机

cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys

直接ssh 主机名免密码登录

ssh bigdata-test01.mykine.cn

3.Hadoop安装

选择需要的版本下载

解压文件，将文件夹路径配置到环境变量

vim /etc/profile

JAVA_HOME=/usr/local/java/jdk1.8
JRE_HOME=/usr/local/java/jdk1.8/jre
GOROOT=/usr/local/go
GOPATH=/usr/local/goapps
HADOOP_HOME=/usr/local/hadoop-2.7.2
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$GOROOT/bin:$HADOOP_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH GOROOT GOPATH HADOOP_HOME

重启环境变量

source /etc/profile 

4.修改配置文件搭建伪分布式模式Hadoop集群

2.7旧版本的配置文件目录在etc/hadoop中

cd /usr/local/hadoop-2.7.2/etc/hadoop 

以下配置文件中的设置的文件夹不存在要手动创建，例如：

mkdir -p /usr/local/hadoop-2.7.2/current/tmp

core-site.xml

1. 配置web访问地址
2. 临时文件所在目录
3. 垃圾回收时长

 
    fs.default.name
    hdfs://bigdata-test01.mykine.cn:9000
  

 
    hadoop.tmp.dir
    /usr/local/hadoop-2.7.2/current/tmp
  
 
    fs.trash.interval
    4320
  

分布式文件系统配置 hdfs-site.xml

1. NameNode进程负责记录各数据块的存储空间位置
2. DataNode进程负责的数据真实物理存储目录
3. 副本的数量(一般等于数据块节点个数)
4. 是否启用web管理页面
5. 用户组
6. 权限是否开启

   dfs.namenode.name.dir
   /usr/local/hadoop-2.7.2/current/dfs/name
 
 
   dfs.datanode.data.dir
   /usr/local/hadoop-2.7.2/current/data
 
 
   dfs.replication
   1
 
 
   dfs.webhdfs.enabled
   true
 
 
   dfs.permissions.superusergroup
   staff
 
 
   dfs.permissions.enabled
   false
 
 

yarn-site.xml

1. 运行resourcemanager服务进程(资源调度服务)的机器的主机名或IP地址
2. NodeManager上运行的附属服务,需配置成mapreduce_shuffle，才可运行MapReduce程序
3. mapreduce_shuffle相关类名
4. resourcemanager的主机端口
5. resourcemanager的调度器的端口
6. resourcemanager的tracker的端口
7. resourcemanager的admin的端口
8. resourcemanager的weapp的端口
9. yarn日志是否开启
10. yarn日志聚合保留时长
11. HDFS上的remote-app-log日志目录
12. HDFS上的remote-app-log日志前缀

   yarn.resourcemanager.hostname
   bigdata-test01.mykine.cn
 
 
   yarn.nodemanager.aux-services
   mapreduce_shuffle
 
 
   yarn.nodemanager.aux-services.mapreduce.shuffle.class
   org.apache.hadoop.mapred.ShuffleHandler
 
 
   yarn.resourcemanager.address
   bigdata-test01.mykine.cn:18040
 

   yarn.resourcemanager.scheduler.address
   bigdata-test01.mykine.cn:18030
 
 
   yarn.resourcemanager.resource-tracker.address
   bigdata-test01.mykine.cn:18025
  
   yarn.resourcemanager.admin.address
   bigdata-test01.mykine.cn:18141
 

   yarn.resourcemanager.webapp.address
   bigdata-test01.mykine.cn:18088
 

   yarn.log-aggregation-enable
   true
 

   yarn.log-aggregation.retain-seconds
   86400
 

   yarn.log-aggregation.retain-check-interval-seconds
   86400
 

   yarn.nodemanager.remote-app-log-dir
   /tmp/logs
 

   yarn.nodemanager.remote-app-log-dir-suffix
   logs
 
 

mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

1. mapreduce基于的框架yarn
2. mapreduce通信端口
3. mapreduce历史作业服务address端口
4. mapreduce历史作业服务webapp端口
5. mapreduce已完成的在HDFS上的日志目录
6. mapreduce中间完成的在HDFS上的日志目录
7. 启用mapreduce作业任务

  mapreduce.framework.name
  yarn


  mapreduce.jobtracker.http.address
  bigdata-test01.mykine.cn:50030


  mapreduce.jobhisotry.address
  bigdata-test01.mykine.cn:10020


  mapreduce.jobhistory.webapp.address
  bigdata-test01.mykine.cn:19888


  mapreduce.jobhistory.done-dir
  /jobhistory/done


  mapreduce.intermediate-done-dir
  /jobhisotry/done_intermediate


  mapreduce.job.ubertask.enable
  true

slaves

配置datanode的nodemanager在bigdata-test01.mykine.cn这台机器运行

bigdata-test01.mykine.cn

hadoop-env.sh

配置jdk目录

export JAVA_HOME=/usr/local/java/jdk1.8

格式化HDFS

hdfs namenode -format

当显示类似INFO common.Storage: Storage directory /usr/local/hadoop-2.7.2/current/dfs/name has been successfully formatted ，表示格式化成功

启动Hadoop集群

/usr/local/hadoop-2.7.2/sbin/start-all.sh

期间会提示是否启动Secondary NameNode服务，输入yes回车即可
(Secondary NameNode详解参考)

查看运行状态

• 通过jps查看java进程
  

• 开放防火墙50070、18088端口

• 通过http://ip:50070 查看hdfs
  

• 通过http://ip:18088 查看yarn