大数据集群安装02之Hadoop配置
Hadoop配置
必看
配置千万条，网络第一条。
配置不规范，bug改到吐。
内外ip要分清，本机配置内ip，连接请用外ip
1.下载上传插件rz
【安装命令】：
yum install -y lrzsz
2.上传hadoop压缩包
【上传命令】：
## 上传压缩包
rz
## 压缩
tar -zxvf [包名]
3.配置hadoop
(1)编辑.bashrc文件
在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加)
# jdk
export JAVA_HOME=/root/jdk1.8.0_241
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# hadoop
export HADOOP_HOME=/root/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_HOME_WARN_SUPPRESS=1
# spark
export SPARK_HOME=/root/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
其中JAVA_HOME和HADOOP_HOME需要换成你自己的安装路径。
执行：source .bashrc使编辑的内容生效。
4.编辑/etc/hosts文件
| Ip地址 | 主机名 | Namenode | Secondary namenode | Datanode | ResourceManager | NodeManager |
|---|---|---|---|---|---|---|
| 116.85.43.227 | hadoop-01 | Y | Y | N | Y | N |
| 106.12.48.46 | hadoop-02 | N | N | Y | N | Y |
| 47.95.0.108 | hadoop-03 | N | N | Y | N | Y |
编辑所有节点的/etc/hosts文件，
116.85.43.227 hadoop-03
106.12.48.46 hadoop-02
47.95.0.108(本机在这里要填内网ip) hadoop-01
保存退出。
查看下/etc/hostname中的值是否和你的主机名一致，若不一致，则改成你的主机名，否则就不需要改。
5.配置hadoop conf
1.编辑hadoop-env.sh,yarn-env.sh文件
编辑所有节点的hadoop-env.sh文件(位于hadoop/conf/下)
先取消export JAVA_HOME的注释，然后修改后面的路径为你自己的安装路径
export JAVA_HOME=/root/jdk1.8.0_241
2.编辑core-site.xml文件
编辑所有节点的core-site.xml文件，添加如下内容：
fs.default.name
hdfs://hadoop-01:9000
hadoop.tmp.dir
/root/hadoop-2.7.1/tmp
hadoop-01是我的namenode节点的主机名，你可以替换成你的namenode节点的主机名。
3.编辑hdfs-site.xml,yarn-site.xml文件
编辑所有节点的hdfs-site.xml文件，添加如下内容：
dfs.namenode.name.dir
file:/root/hadoop-2.7.1/hadoop_data/hdfs/namenode
dfs.datanode.data.dir
file:/root/hadoop-2.7.1/hadoop_data/hdfs/datanode
dfs.replication
1
dfs.namenode.datanode.registration.ip-hostname-check
false
dfs.nameservices
hadoop-cluster1
dfs.namenode.secondary.http-address
hadoop-01:50090
dfs.webhdfs.enabled
true
dfs.namenode.name.dir是namenode节点存放目录，dfs.datanode.data.dir是datanode节点的存放目录，均可以替换成你自己想要存放的路径。
编辑所有节点的yarn-site.xml文件，添加如下内容：
yarn.resourcemanager.hostname</name>
hadoop-01</value>
</property>
yarn.nodemanager.aux-services</name>
mapreduce_shuffle</value>
</property>
yarn.resourcemanager.address</name>
hadoop-01:8032</value>
</property>
yarn.resourcemanager.scheduler.address</name>
hadoop-01:8030</value>
</property>
yarn.resourcemanager.resource-tracker.address</name>
hadoop-01:8031</value>
</property>
yarn.resourcemanager.admin.address</name>
hadoop-01:8033</value>
</property>
yarn.resourcemanager.webapp.address</name>
hadoop-01:8088</value>
</property>
4…编辑mapred-site.xml文件
编辑所有节点的mapred-site.xml文件，添加如下内容：
mapreduce.framework.name
yarn
mapreduce.jobtracker.http.address
hadoop-01:50030
mapred.job.tracker
http://hadoop-01:9001
mapreduce.jobhistory.address
hadoop-01:10020
mapreduce.jobhistory.webapp.address
hadoop-01:19888
hadoop-01是我的jobtracker节点的主机名，你可以替换成你自己的jobtracker节点所在的主机名。
5.编辑slaves文件
打开slaves，将localhost替换成
hadoop-02
hadoop-03
保存退出
6.将配置好的hadoop文件复制到其他节点上
scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-02:/root/hadoop-2.7.1/etc/
scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-03:/root/hadoop-2.7.1/etc/
6.运行hadoop
./bin/hdfs namenode -format
source /etc/profile
./start-dfs.sh