第四章 Hadoop系统管理

Hadoop配置文件

Hadoop集群中的每台计算节点都有一组自己的配置文件。
Hadoop系统的后续版本中按照不同的功能将其划分为多个配置文件，此外有两种类型的配置文件:
-default.xml和-site.xml。-site.xml中的配置项覆盖-default.xml中有相同的配置项。

配置Hadoop守护进程

• hadoop-env.sh
• yarn-env.sh
• mapred-env.sh
  这些脚本文件负责设置以下属性
• Java主目录
• 不同的日志文件位置
• 用于不同各种守护进程的JVM选项
  下列配置选线来配置各个守护进程
  名称节点——————HADOOP_NAMENODE_OPTS
  数据节点——————HADOOP_DATANODE_OPTS
  辅助名称节点——————HADOOP_SECONDARYNAMENODE_OPTS
  资源管理器———————YARN_RESOURCEMANAGER_OPTS
  节点管理器———————YARN_NODEMANAGER_OPTS

Hadoop配置文件的优先级

1.MapReduce任务初始化的时候，由JobConf或者Job对象指定的值
2.客户端节点的-site.xml
3.从节点的-site.xml
4.*-dafault文件中的默认值，这个文件是集群中的所有节点都是相同的

true可以设置属性不被客户端修改或者程序修改

core-site.xml

hdfs-*.xml

mapred-site.xml

yarn-site.xml

从HDFS中复制海量数据

hadoop distcp hdfs://192.168.1.220:8020/user/hadoop/mydatabase  hdfs://192.168.1.22:9000/user/hadoop

注意hadoop的HDFS存放的端口位置