centos 6.7 Hadoop 完全分布式
hadoop的安装
一、明确规划
1.安装版本
2.7.7（官网自找）
2.安装模式
完全分布式安装
3.集群规划
三台虚拟机：内存 1G 两个主节点性能略高 1.5G （8G运存分配方式，可自行调节）
注：namenode secondarynamenode 不能在同一节点上
| 安装结构 | hadoop01 | hadoop01 | hadoop03 |
|---|---|---|---|
| hdfs | namenode | ||
| datanode | datanode | datanode | |
| secondarynamenode | |||
| mapreduce | |||
| yarn | resourcemanager | ||
| nodemanager | nodemanager | nodemanager |
1.hdfs (hadoop distributed file system) : hadoop的分布式文件系统
namenode : 管理每个结点上存储数据的编号，对应关系
datanode：负责真正数据存储
secondarynamenode：备份namenode的数据，帮助namenode减压
2.mapreduce : hadoop的分布式计算服务（安装完成，没有对应进程）
3.yarn：hadoop的分布式资源调度框架resourcemanagr : 决定哪一个计算任务需要多少资源 在哪一个节点分配资源的
nodemanager：提供资源运行任务的
4.安装包括
进程 jps进行检测
namenode
datanode
secondarynamenode
esourcemanager
nodemanager
二、装前准备
1.主机名 ip 主机映射
ifconfig 查看ip
hostname 查看主机名；vim /etc/sysconfig/network 修改主机名
vim /etc/hosts 修改主机映射
2.防火墙与selinux
service iptables stop 关闭防火墙
vim /etc/sysconfig/selinux 关闭linux的高级权限管理 disabled
3.授权sudoers
vim /etc/sudoers
root用户为普通用户授权之后，所有操作切换为普通用户进行！！
4.免密 时间同步
ssh-keygen 生成秘钥；ssh-copy-id 主机名；
sudo ntpdate ntp1.aliyun.com
三、安装hadoop
1.上传 解压
-
上传hadoop安装包，在crt中Alt+p，拖入；
-
解压到指定目录 (apps)
-
配置全局环境变量
- sudo vim /etc/profile - export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.7 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin - 重新加载环境变量：source /etc/profile - 测试hadoop的环境变量：hadoop version
2.修改hadoop配置
hadoop的安装目录的etc目录下：
配置文件格式如下：
<configuration> 核心配置文件标签
<property> 一个配置项
<name>key</name>
<value>value</value>
</property>
</configuration>
1.core-site.xml
公共配置：
①hdfs的主节点访问入口
②hdfs存储数据的目录（注意有权访问）
<property>
<!-- hdfs的主节点 namenode 的访问入口 hdfs://hdp01:9000 -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!-- hdfs存储数据的目录 配置家目录下某一个目录 -->
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata</value>
</property>
2.hdfs-site.xml
hdfs相关信息：
①hdfs下namenode、datanode的存储目录
②hdfs数据块副本个数
③secondarynamenode 运行节点的信息
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/hadoopdata/name</value>
<description>namenode相关数据的存储目录</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/hadoopdata/data</value>
<description>datanode相关数据的存储目录</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>hdfs的数据块的副本存储个数</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
<description>secondarynamenode 运行节点的信息，和 namenode 不同节点</description>
</property>
3.mapred-site.xml
配置mapreduce的计算任务的资源调度框架
hadoop配置文件中没有此项，需要创建一份
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<!--配置mapreduce的计算任务的资源调度框架-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.yarn-site.xml
①yarn主节点
②yarn上允许运行的计算任务mapreduce_shuffle（内置）
<property>
<!--配置yarn的主节点-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
</property>
5.hadoop-env.sh
hadoop底层使用java代码实现，因此需修改java环境变量，加载过程：
/etc/profile —> 启动hadoop —> hadoop-env.sh
原先：export JAVA_HOME=${JAVA_HOME}
改后：export JAVA_HOME=/opt/jdk1.8.0_73 jdk路径
6.slaves
此处配置从节点信息（因为剩下datanode与nodemanager节点没有配置）
hadoop01 打开后原先有一行信息删除即可
hadoop02
hadoop03 一行一个主机名，不要多余空格或换行
3.发送至其他节点
1.远程发送安装包
发送之前需在对应节点创建相应目录：apps
scp -r /home/hadoop/apps/hadoop-2.7.7 hadoop02:/home/hadoop/apps/
2.远程发送环境变量
sudo scp /etc/profile hadoop02:/etc/
记得重新加载配置文件：source/etc/profile
五、启动
1.格式化namenode
启动之前需要格式化namenode，必须在其相应节点上（hadoop01）
hadoop namenode -format
格式化成功标志：INFO common.Storage: ... /name has been successfully formatted.
若错则按报错更改，格式化成功再启动，并且成功的格式化只有一次！！
2.启动及测试
启动 hdfs(任意节点，启动一次)：start-dfs.sh
jps查看进程
web页面访问： namenode所在节点主机名或ip：50070
启动yarn(resourcemanager节点执行)：start-yarn.sh
jps查看进程
web页面访问： resourcemanager所在节点主机名或ip：8088
注：若某节点启动不成功，重启。