Hadoop运行环境搭建
目录
- Hadoop运行环境搭建
- 虚拟机网络模式设置为NAT
- 克隆虚拟机
- 修改为静态ip
- 修改主机名
- 关闭防火墙
- 在opt目录下创建文件
- 安装jdk
- 安装Hadoop
- Hadoop运行模式
- 本地运行Hadoop 案例
- 官方grep案例
- 官方wordcount案例
- 伪分布式运行Hadoop案例
- 启动HDFS并运行MapReduce程序
- YARN上运行MapReduce 程序
- 配置临时文件存储路径
- 配置历史服务器
- 配置日志的聚集
- 配置文件说明
- 完全分布式部署Hadoop
- scp
- SSH无密码登录
- rsync
- 编写集群分发脚本xsync
- 编写集群操作脚本xcall
- 配置集群
- 配置历史服务器
- 集群启动及测试
- Hadoop启动停止方式
- 集群时间同步
- 配置集群常见问题
Hadoop运行环境搭建
虚拟机网络模式设置为NAT
最后，重新启动系统。
[root@hadoop101 ~]# sync
[root@hadoop101 ~]# reboot
克隆虚拟机
- 克隆虚拟机
2.启动虚拟机
修改为静态ip
- 在终端命令窗口中输入
[root@hadoop101 /]#
vim /etc/udev/rules.d/70-persistent-net.rules
进入如下页面，删除eth0该行；将eth1修改为eth0，同时复制物理ip地址
- 修改IP地址
[root@hadoop101 /]#
vim /etc/sysconfig/network-scripts/ifcfg-eth0
需要修改的内容有5项：
IPADDR=192.168.1.101
GATEWAY=192.168.1.2
ONBOOT=yes
BOOTPROTO=static
DNS1=192.168.1.2
（1）修改前
（2）修改后
：wq 保存退出
3）执行
[root@hadoop101 /]#service network restart
4）如果报错，reboot，重启虚拟机。
[root@hadoop101 /]#reboot
修改主机名
1）修改linux的hosts文件
（1）进入Linux系统查看本机的主机名。通过hostname命令查看。
[root@hadoop100 /]#hostname
hadoop100
2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/sysconfig/network文件。
[root@hadoop100~]#vi /etc/sysconfig/network
修改文件中主机名称
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop101
注意：主机名称不要有“_”下划线
（3）打开此文件后，可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101。
（4）保存退出。
（5）打开/etc/hosts
[root@hadoop100 ~]#vim /etc/hosts
添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
（6）并重启设备，重启后，查看主机名，已经修改成功
2）修改window7的hosts文件
（1）进入C:\Windows\System32\drivers\etc路径
（2）打开hosts文件并添加如下内容>
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
192.168.1.109 hadoop109
192.168.1.110 hadoop110
关闭防火墙
1）查看防火墙开机启动状态
[root@hadoop101 ~]#chkconfig iptables --list
2）关闭防火墙
[root@hadoop101 ~]#chkconfig iptables off
在opt目录下创建文件
1）创建atguigu用户
在root用户里面执行如下操作
[root@hadoop101 opt]#adduser atguigu
[root@hadoop101 opt]#passwd atguigu
更改用户 test 的密码 。
新的 密码：
无效的密码： 它没有包含足够的不同字符
无效的密码： 是回文
重新输入新的 密码：
passwd： 所有的身份验证令牌已经成功更新。2）设置atguigu用户具有root权限
修改/etc/sudoers文件，找到下面一行，在root下面添加一行，如下所示：
[root@hadoop101 atguigu]#vi /etc/sudoers
##Allow root to run any commands anywhere
root ALL=(ALL) ALL
atguigu ALL=(ALL) ALL
修改完毕，现在可以用atguigu帐号登录，然后用命令 su - ，即可获得root权限进行操作。
3）在/opt目录下创建文件夹
（1）在root用户下创建module、software文件夹
[root@hadoop101 opt]#mkdir module
[root@hadoop101 opt]#mkdir software
（2）修改module、software文件夹的所有者
[root@hadoop101 opt]#chown atguigu:atguigu module
[root@hadoop101 opt]#chown atguigu:atguigu sofrware
[root@hadoop101 opt]#ls -al
总用量 16
drwxr-xr-x. 6 root root 4096 4月 24 09:07 .
dr-xr-xr-x. 23 root root 4096 4月 24 08:52 …
drwxr-xr-x. 4 atguigu atguigu 4096 4月 23 16:26 module
drwxr-xr-x. 2 atguigu atguigu 4096 4月 23 16:25 software
安装jdk
1）卸载现有jdk
（1）查询是否安装java软件：
[root@hadoop101 opt]#rpm -qa|grep java
（2）如果安装的版本低于1.7，卸载该jdk：
[root@hadoop101 opt]#rpm -e 软件包
2）用SecureCRT工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面
3）在linux系统下的opt目录中查看软件包是否导入成功。
[root@hadoop101opt]#
cd software/
[root@hadoop101software]#ls
hadoop-2.7.2.tar.gz jdk-8u144-linux-x64.tar.gz
4）解压jdk到/opt/module目录下
[root@hadoop101software]#
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
5）配置jdk环境变量
（1）先获取jdk路径：
[root@hadoop101 jdk1.8.0_144]#pwd
/opt/module/jdk1.8.0_144
（2）打开/etc/profile文件：
[root@hadoop101 jdk1.8.0_144]#vi /etc/profile
在profie文件末尾添加jdk路径：
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
（3）保存后退出：:wq
（4）让修改后的文件生效：
[root@hadoop101 jdk1.8.0_144]#source /etc/profile
（5）重启（如果java -version可以用就不用重启）：
[root@hadoop101 jdk1.8.0_144]#sync
[root@hadoop101 jdk1.8.0_144]#reboot
6）测试jdk安装成功
[root@hadoop101 jdk1.8.0_144]#
java -version
java version “1.8.0_144”
安装Hadoop
1）进入到Hadoop安装包路径下：
[root@hadoop101 ~]# cd /opt/software/
2）解压安装文件到/opt/module下面
[root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/
3）查看是否解压成功
[root@hadoop101 software]# ls /opt/module/
hadoop-2.7.2
4）在/opt/module/hadoop-2.7.2/etc/hadoop路径下配置hadoop-env.sh
（1）Linux系统中获取jdk的安装路径：
[root@hadoop101 jdk1.8.0_144]#echo $JAVA_HOME
/opt/module/jdk1.8.0_144
（2）修改hadoop-env.sh文件中JAVA_HOME 路径：
[root@hadoop101 hadoop]#vi hadoop-env.sh
修改JAVA_HOME如下
export JAVA_HOME=/opt/module/jdk1.8.0_144
5）将hadoop添加到环境变量
（1）获取hadoop安装路径：
[root@ hadoop101 hadoop-2.7.2]#pwd
/opt/module/hadoop-2.7.2
（2）打开/etc/profile文件：
[root@ hadoop101 hadoop-2.7.2]#vi /etc/profile
在profie文件末尾添加jdk路径：（shitf+g）
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
（3）保存后退出：:wq
（4）让修改后的文件生效：
[root@ hadoop101 hadoop-2.7.2]#source /etc/profile
（5）重启(如果hadoop命令不能用再重启)：
[root@ hadoop101 hadoop-2.7.2]#sync
[root@ hadoop101 hadoop-2.7.2]#reboot
6）修改/opt目录下的所有文件所有者为atguigu
[root@hadoop101 opt]#chown atguigu:atguigu -R /opt/
7）切换到atguigu用户
[root@hadoop101 opt]#su atguigu
Hadoop运行模式
本地运行Hadoop 案例
官方grep案例
1）创建在hadoop-2.7.2文件下面创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2] ‘ m k d i r i n p u t ‘ 2 ） 将 h a d o o p 的 x m l 配 置 文 件 复 制 到 i n p u t [ a t g u i g u @ h a d o o p 101 h a d o o p − 2.7.2 ] `mkdir input` 2）将hadoop的xml配置文件复制到input [atguigu@hadoop101 hadoop-2.7.2] ‘mkdirinput‘2）将hadoop的xml配置文件复制到input[atguigu@hadoop101hadoop−2.7.2]cp etc/hadoop/*.xml input
3）执行share目录下的mapreduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
4）查看输出结果
[atguigu@hadoop101 hadoop-2.7.2]$ cat output/*
官方wordcount案例
1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
[atguigu@hadoop101 hadoop-2.7.2] ‘ m k d i r w c i n p u t ‘ 2 ） 在 w c i n p u t 文 件 下 创 建 一 个 w c . i n p u t 文 件 [ a t g u i g u @ h a d o o p 101 h a d o o p − 2.7.2 ] `mkdir wcinput` 2）在wcinput文件下创建一个wc.input文件 [atguigu@hadoop101 hadoop-2.7.2] ‘mkdirwcinput‘2）在wcinput文件下创建一个wc.input文件[atguigu@hadoop101hadoop−2.7.2]cd wcinput
[atguigu@hadoop101 wcinput]$touch wc.input
3）编辑wc.input文件
[atguigu@hadoop101 wcinput]$
vim wc.input
在文件中输入如下内容
hadoop yarn
hadoop mapreduce
atguigu
atguigu
保存退出：：wq
4）回到hadoop目录/opt/module/hadoop-2.7.2
5）执行程序：
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
6）查看结果：
[atguigu@hadoop101 hadoop-2.7.2]$
cat wcoutput/part-r-00000
atguigu 2
hadoop 2
mapreduce 1
yarn 1
伪分布式运行Hadoop案例
启动HDFS并运行MapReduce程序
1）分析：
1）准备1台客户机
（2）安装jdk
（3）配置环境变量
（4）安装hadoop
（5）配置环境变量
（6）配置集群
（7）启动、测试集群增、删、查
（8）执行wordcount案例
2）执行步骤
需要配置hadoop文件如下
（1）配置集群
（a）配置：hadoop-env.sh
Linux系统中获取jdk的安装路径：
[root@ hadoop101 ~]#echo $JAVA_HOME
/opt/module/jdk1.8.0_144
修改JAVA_HOME 路径：
export JAVA_HOME=/opt/module/jdk1.8.0_144
（b）配置：core-site.xml
<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop101:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/opt/module/hadoop-2.7.2/data/tmpvalue>
property>
（c）配置：hdfs-site.xml
<property>
<name>dfs.replicationname>
<value>1value>
property>
（2）启动集群
（a）格式化namenode（第一次启动时格式化，以后就不要总格式化）
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs namenode -format
（b）启动namenode
[atguigu@hadoop101 hadoop-2.7.2]$sbin/hadoop-daemon.sh start namenode
（c）启动datanode
[atguigu@hadoop101 hadoop-2.7.2]$sbin/hadoop-daemon.sh start datanode
（3）查看集群
（a）查看是否启动成功
[atguigu@hadoop101 hadoop-2.7.2]$jps
13586 NameNode
13668 DataNode
13786 Jps
（b）查看产生的log日志
当前目录：/opt/module/hadoop-2.7.2/logs
[atguigu@hadoop101 logs]$ls
hadoop-atguigu-datanode-hadoop.atguigu.com.log
hadoop-atguigu-datanode-hadoop.atguigu.com.out
hadoop-atguigu-namenode-hadoop.atguigu.com.log
hadoop-atguigu-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
[atguigu@hadoop101 logs]#cat hadoop-atguigu-datanode-hadoop101.log
（c）web端查看HDFS文件系统
http://192.168.1.101:50070/dfshealth.html#tab-overview
注意：如果不能查看，看如下帖子处理
http://www.cnblogs.com/zlslch/p/6604189.html
（4）操作集群
（a）在hdfs文件系统上创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -mkdir -p /user/atguigu/input
（b）将测试文件内容上传到文件系统上
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input/
（c）查看上传的文件是否正确
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -ls /user/atguigu/input/
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -cat /user/atguigu/ input/wc.input
（d）运行mapreduce程序
[atguigu@hadoop101 hadoop-2.7.2]$bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input/ /user/atguigu/output
（e）查看输出结果
命令行查看：
[atguigu@hadoop101 hadoop-2.7.2]$bin/hdfs dfs -cat /user/atguigu/output/*
浏览器查看
（f）将测试文件内容下载到本地
[atguigu@hadoop101 hadoop-2.7.2]$hadoop fs -get /user/atguigu/ output/part-r-00000 ./wcoutput/
（g）删除输出结果
[atguigu@hadoop101 hadoop-2.7.2]$hdfs dfs -rmr /user/atguigu/output
YARN上运行MapReduce 程序
1）分析：
（1）准备1台客户机
（2）安装jdk
（3）配置环境变量
（4）安装hadoop
（5）配置环境变量
（6）配置集群yarn上运行
（7）启动、测试集群增、删、查
（8）在yarn上执行wordcount案例
2）执行步骤
（1）配置集群
（a）配置yarn-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
（b）配置yarn-site.xml
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop101value>
property>
（c）配置：mapred-env.sh
配置一下JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml
[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
（2）启动集群
（a）启动resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（b）启动nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
（3）集群操作
（a）yarn的浏览器页面查看
http://192.168.1.101:8088/cluster
（b）删除文件系统上的output文件
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output
（c）执行mapreduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output
（d）查看运行结果
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/atguigu/output/*
配置临时文件存储路径
1）停止进程
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop namenode
2）修改hadoop.tmp.dir
[core-site.xml]
<property>
<name>hadoop.tmp.dirname>
<value>/opt/module/hadoop-2.7.2/data/tmpvalue>
property>
3）将/opt/module/hadoop-2.7.2路径中的logs文件夹删除掉
[atguigu@hadoop101 hadoop-2.7.2]$ rm -rf logs/
4）进入到tmp目录将tmp目录中hadoop-atguigu目录删除掉
[atguigu@hadoop101 tmp]$ rm -rf hadoop-atguigu/
5）格式化NameNode
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop namenode -format
6）启动所有进程
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
7）查看/opt/module/hadoop-2.7.2/data/tmp这个目录下的内容。
配置历史服务器
1）配置mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
<property>
<name>mapreduce.jobhistory.addressname>
<value>hadoop101:10020value>
property>
<property>
<name>mapreduce.jobhistory.webapp.addressname>
<value>hadoop101:19888value>
property>
2）查看启动历史服务器文件目录：
[atguigu@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr
mr-jobhistory-daemon.sh
3）启动历史服务器
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
4）查看历史服务器是否启动
[atguigu@hadoop101 hadoop-2.7.2]$ jps
5）查看jobhistory
http://192.168.1.101:19888/jobhistory
配置日志的聚集
日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上。
开启日志聚集功能步骤：
（1）配置yarn-site.xml
[atguigu@hadoop101 hadoop]$ vi yarn-site.xml
<property>
<name>yarn.log-aggregation-enablename>
<value>truevalue>
property>
<property>
<name>yarn.log-aggregation.retain-secondsname>
<value>604800value>
property>
（2）关闭nodemanager 、resourcemanager和historymanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
（3）启动nodemanager 、resourcemanager和historymanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
（4）删除hdfs上已经存在的hdfs文件
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output
（5）执行wordcount程序
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output
（6）查看日志
http://192.168.1.101:19888/jobhistory
配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
（1）默认配置文件：存放在hadoop相应的jar包中
[core-default.xml]
hadoop-common-2.7.2.jar/ core-default.xml
[hdfs-default.xml]
hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
[yarn-default.xml]
hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
[core-default.xml]
hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml
（2）自定义配置文件：存放在$HADOOP_HOME/etc/hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
完全分布式部署Hadoop
分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装jdk
3）配置环境变量
4）安装hadoop
5）配置环境变量
6）安装ssh
7）配置集群
8）启动测试集群
scp
1）scp可以实现服务器与服务器之间的数据拷贝。
2）案例实操
（1）将hadoop101中/opt/module和/opt/software文件拷贝到hadoop102、hadoop103和hadoop104上。
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop102:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop102:/opt
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop103:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop103:/opt
[root@hadoop101 /]# scp -r /opt/module/ root@hadoop104:/opt
[root@hadoop101 /]# scp -r /opt/software/ root@hadoop105:/opt
（2）将hadoop101服务器上的/etc/profile文件拷贝到hadoop102上。
[root@hadoop102 opt]# scp root@hadoop101:/etc/profile /etc/profile
（3）实现两台远程机器之间的文件传输（hadoop103主机文件拷贝到hadoop104主机上）
[atguigu@hadoop102 test]$ scp atguigu@hadoop103:/opt/test/haha atguigu@hadoop104:/opt/test/
SSH无密码登录
1）配置ssh
（1）基本语法
ssh 另一台电脑的ip地址
（2）ssh连接时出现Host key verification failed的解决方法
[root@hadoop102 opt]#ssh 192.168.1.103
The authenticity of host ‘192.168.1.103 (192.168.1.103)’ can’t be established.
RSA key fingerprint is cf:1e??d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.
Are you sure you want to continue connecting (yes/no)?
Host key verification failed.
（3）解决方案如下：直接输入yes
2）无密钥配置
（1）进入到我的home目录
[atguigu@hadoop102 opt]$cd ~/.ssh
（2）生成公钥和私钥：
[atguigu@hadoop102 .ssh]$ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ssh-copy-id hadoop104
3）.ssh文件夹下的文件功能解释
（1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)
（2）id_rsa ：生成的私钥
（3）id_rsa.pub ：生成的公钥
（4）authorized_keys ：存放授权过得无秘登录服务器公钥
rsync
rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
（1）查看rsync使用说明
man rsync | more
（2）基本语法rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令 命令参数 要拷贝的文件路径/名称 目的用户@主机:目的路径
选项
-r 递归
-v 显示复制过程
-l 拷贝符号连接
（3）案例实操
把本机/opt/tmp目录同步到hadoop103服务器的root用户下的/opt/tmp目录
[atguigu@hadoop102 opt]$rsync -rvl /opt/tmp root@hadoop103:/opt/
编写集群分发脚本xsync
1）需求分析：循环复制文件到所有节点的相同目录下。
（1）原始拷贝：rsync -rvl /opt/module root@hadoop103:/opt/
（2）期望脚本：
xsync 要同步的文件名称
（3）在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行。
2）案例实操：
（1）在/usr/local/bin目录下创建xsync文件，文件内容如下：
[root@hadoop102 bin]# touch xsync
[root@hadoop102 bin]# vi xsync
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for((host=103; host<105; host++)); do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo --------------- hadoop$host ----------------
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
（2）修改脚本 xsync 具有执行权限
[root@hadoop102 bin]# chmod 777 xsync
[root@hadoop102 bin]# chown atguigu:atguigu -R xsync
（3）调用脚本形式：xsync 文件名称
[atguigu@hadoop102 opt]$ xsync tmp/
编写集群操作脚本xcall
1）需求分析：在所有主机上同时执行相同的命令 xcall +命令
2）具体实现
（1）在/usr/local/bin目录下创建xcall文件，文件内容如下：
[root@hadoop102 bin]# touch xcall
[root@hadoop102 bin]# vi xcall
#!/bin/bash
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi
echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
echo ----------hadoop$host---------
ssh hadoop$host $@
done
（2）修改脚本xcall具有执行权限
[root@hadoop102 bin]# chmod 777 xcall
[root@hadoop102 bin]# chown atguigu:atguigu xcall
（3）调用脚本形式： xcall 操作命令
[root@hadoop102 ~]# xcall rm -rf /opt/tmp/
配置集群
1）集群部署规划
2）配置文件
（1）core-site.xml
[atguigu@hadoop102 hadoop]$ vi core-site.xml
<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop102:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/opt/module/hadoop-2.7.2/data/tmpvalue>
property>
（2）Hdfs hadoop-env.sh
[atguigu@hadoop102 hadoop]$
vi hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>3value>
property>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>hadoop104:50090value>
property>
configuration>
slaves
[atguigu@hadoop102 hadoop]$ vi slaves
hadoop102
hadoop103
hadoop104
（3）yarn yarn-env.sh
[atguigu@hadoop102 hadoop]$
vi yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
yarn-site.xml
[atguigu@hadoop102 hadoop]$ vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop103value>
property>
configuration>
4）mapreduce mapred-env.sh
[atguigu@hadoop102 hadoop]$
vi mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
mapred-site.xml
[atguigu@hadoop102 hadoop]$ vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
3）在集群上分发以上所有文件
[atguigu@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves
4）查看文件分发情况
[atguigu@hadoop102 hadoop]$ xcall cat /opt/module/hadoop-2.7.2/etc/hadoop/slaves
配置历史服务器
1）配置mapred-site.xml 把历史服务器配置到hadoop104上面去
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
<property>
<name>mapreduce.jobhistory.addressname>
<value>hadoop104:10020value>
property>
<property>
<name>mapreduce.jobhistory.webapp.addressname>
<value>hadoop104:19888value>
property>
2）查看启动历史服务器文件目录：
[atguigu@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr
mr-jobhistory-daemon.sh
3）启动历史服务器
[atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
4）查看历史服务器是否启动
[atguigu@hadoop101 hadoop-2.7.2]$ jps
5）查看jobhistory
http://192.168.1.101:19888/jobhistory
集群启动及测试
1）启动集群
（0）如果集群是第一次启动，需要格式化namenode
[atguigu@hadoop102 hadoop-2.7.2]$bin/hdfs namenode -format
（1）启动HDFS：
[atguigu@hadoop102 hadoop-2.7.2]$sbin/start-dfs.sh
[atguigu@hadoop102 hadoop-2.7.2]$jps
4166 NameNode
4482 Jps
4263 DataNode
[atguigu@hadoop103 hadoop-2.7.2]$jps
3218 DataNode
3288 Jps
[atguigu@hadoop104 hadoop-2.7.2]$jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps
（2）启动yarn
[atguigu@hadoop102 hadoop-2.7.2]$sbin/start-yarn.sh
注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。
2）集群基本测试
（1）上传文件到集群
上传小文件
[atguigu@hadoop102 hadoop-2.7.2]$bin/hdfs dfs -mkdir -p /user/atguigu/tmp/conf
[atguigu@hadoop102 hadoop-2.7.2]$bin/hdfs dfs -put etc/hadoop/*-site.xml /user/atguigu/tmp/conf
上传大文件
[atguigu@hadoop102 hadoop-2.7.2]$bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz /user/atguigu/input
（2）上传文件后查看文件存放在什么位置
文件存储路径
[atguigu@hadoop102 subdir0]$pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0
查看文件内容
[atguigu@hadoop102 subdir0]$cat blk_1073741825
hadoop
atguigu
atguigu
（3）拼接
-rw-rw-r–. 1 atguigu atguigu 134217728 5月 23 16:01 blk_1073741836
-rw-rw-r–. 1 atguigu atguigu 1048583 5月 23 16:01 blk_1073741836_1012.meta
-rw-rw-r–. 1 atguigu atguigu 63439959 5月 23 16:01 blk_1073741837
-rw-rw-r–. 1 atguigu atguigu 495635 5月 23 16:01 blk_1073741837_1013.meta
[atguigu@hadoop102 subdir0]$cat blk_1073741836>>tmp.file
[atguigu@hadoop102 subdir0]$cat blk_1073741837>>tmp.file
[atguigu@hadoop102 subdir0]$tar -zxvf tmp.file
（4）下载
[atguigu@hadoop102 hadoop-2.7.2]$bin/hadoop fs -get /user/atguigu/input/hadoop-2.7.2.tar.gz
3）性能测试集群
写海量数据
读海量数据
Hadoop启动停止方式
1）各个服务组件逐一启动
（1）分别启动hdfs组件
hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode
（2）启动yarn
yarn-daemon.sh start|stop resourcemanager|nodemanager
2）各个模块分开启动（配置ssh是前提）常用
（1）整体启动/停止hdfs
start-dfs.sh
stop-dfs.sh
（2）整体启动/停止yarn
start-yarn.sh
stop-yarn.sh
3）全部启动（不建议使用）
start-all.sh
stop-all.sh
集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
配置时间同步实操：
1）时间服务器配置（必须root用户）
（1）检查ntp是否安装
[root@hadoop102 桌面]#rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
（2）修改ntp配置文件
[root@hadoop102 桌面]#vi /etc/ntp.conf
修改内容如下
a）修改1
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加3
server 127.127.1.0
fudge 127.127.1.0 stratum 10
（3）修改/etc/sysconfig/ntpd 文件
[root@hadoop102 桌面]#vim /etc/sysconfig/ntpd
增加内容如下
SYNC_HWCLOCK=yes
（4）重新启动ntpd
[root@hadoop102 桌面]#service ntpd status
ntpd 已停
[root@hadoop102 桌面]#service ntpd start
正在启动 ntpd： [确定]
（5）执行：
[root@hadoop102 桌面]#chkconfig ntpd on
2）其他机器配置（必须root用户）
（1）在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103 hadoop-2.7.2]#crontab -e
编写脚本
*/10 * * * * /usr/sbin/ntpdate hadoop102
（2）修改任意机器时间
[root@hadoop103 hadoop]#date -s "2017-9-11 11:11:11"
（3）十分钟后查看机器是否与时间服务器同步
[root@hadoop103 hadoop]#date
配置集群常见问题
1）防火墙没关闭、或者没有启动yarn
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
2）主机名称配置错误
3）ip地址配置错误
4）ssh没有配置好
5）root用户和atguigu两个用户启动集群不统一
6）配置文件修改不细心
7）未编译源码
Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
8）datanode不被namenode识别问题
Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。
一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。
解决办法，删除datanode节点中的数据后，再次重新格式化namenode。
9）不识别主机名称
java.net.UnknownHostException: hadoop102: hadoop102
at java.net.InetAddress.getLocalHost(InetAddress.java:1475)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
解决办法：
（1）在/etc/hosts文件中添加192.168.1.102 hadoop102
（2）主机名称不要起hadoop hadoop000等特殊名称
10）datanode和namenode进程同时只能工作一个。
11）执行命令 不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效
解决办法：尽量不要粘贴word中代码。
12）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。
13）jps不生效。
原因：全局变量hadoop java没有生效，需要source /etc/profile文件。
14）8088端口连接不上
[atguigu@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 hadoop102