hadoop 家族产品的配置文件

CentOS hadoop 伪分布式安装步骤

• （1）集群的结构由配置文件决定。
• （2）配置文件刻画了集群间的相互关系。
• （3）配置文件确定了核心的属性信息。
• （4）掌握了配置文件也就掌握了集群结构以及集群节点间的关系。

如作为hadoop namenode、JobTracker节点的主机的hadoop配置文件（hadoop/conf）的slaves文件确定了hadoop 集群结构的从节点（负责启动datanode、TaskTracker）、masters配置文件确定了集群结构负责启动secondarynamenode的节点。

Hadoop

• （1）hadoop-env.sh，顾名思义，设置环境变量，但特指JAVA_HOME，这里按下不表；

• （2）cote-site.xml，设置两个属性（<property></property>）（设置namenode，所在的节点主机名）

  • a）fs.default.name（hdfs://hadoop0:9000）
    hadoop0 为当前主机名
  • b）hadoop.tmp.dir（/usr/local/hadoop/tmp）
    设置路径，注意，这个路径（/usr/local/hadoop/tmp）也是我们进行分布式转换为伪分布式时，如果无法启动datanode/TaskTracker时可以删除的目录（然后会自动创建）

• （3）hdfs-site.xml，也是两个属性

  • a）dfs.replication（1）
  • b）dfs.permissions（false）

• （4）mapred-site.xml，设置一个属性（设置JobTracker，所在的节点主机名）

  • mapred.job.tracker（hadoop0:9001）

ZooKeeper

HBase

Hive

Hive 基础及安装

Hive 操作（一）

• （1）重命名配置文件：

  [root@hadoop0 ~]# mv hive-default.xml.template hive-default.xml
  [root@hadoop0 ~]# mv hive-env.sh.template hive-env.sh

• （2）修改 hadoop 的 hadoop-env.sh（否则启动 hive 会报找不到类的错误）
  
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin


• （3）修改$HIVE_HOME/bin/hive-config.sh 增加以下三行：

  export JAVA_HOME=/usr/local/jdk
  export HIVE_HOME=/usr/local/jdk
  export HADOOP_HOME=/usr/local/jdk

配置文件的相关属性：

在 hive-site.xml（由 hive-default.xml.template 重命名而来）文件中，hive.metastore.warehouse.dir 属性决定了 hive 在 hdfs 的默认位置，默认为 /user/hive/warehouse，出于简洁性的考虑，我们将之修改为 /hive。