hadoop等配置文件核心部分简介
Hadoop配置
•hdfs-site.xml文件配置(主要配置参数)
–dfs.nameservices(指定了集群服务名称)
–dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称)
–dfs.namenode.rpc-address.drmcluster.*(指定了用于namenode HA的节点进行rpc通信地址)
–dfs.namenode.http-address.drmcluster.*(指定namenode web页面的监听端口)
–dfs.datanode.http.address(指定datanode web页面的监听端口)
–dfs.datanode.address(指定datanode的通信端口)
–dfs.namenode.name.dir(指定hadoop元数据存储目录)
–dfs.namenode.shared.edits.dir(指定hadoop主备namenode共享元数据目录)
–dfs.replication(指定hdfs中存储的文件副本数)
–dfs.datanode.data.dir(指定数据节点存放数据的目录)
–ha.zookeeper.session-timeout.ms(指定了zookeeper超时间隔)
•slaves文件配置
–各个主机节点的hostname,每行一个
•mapred-site.xml文件配置(主要配置参数)
–mapred.job.tracker：jobtracker的ip地址、端口
–mapreduce.framework.name：第三方 MapReduce 框架
–mapreduce.jobhistory.address：jobhistory服务器地址
–mapreduce.jobhistory.webapp.address ：jobhistory监控地址
–mapred.child.java.opts：启动task管理的子进程时的内存设置
–mapred.tasktracker.map.tasks.maximum ：任管管理器可同时运行map任务数
–mapred.tasktracker.reduce.tasks.maximum：任管管理器可同时运行reduce任务数
•yarn-site.xml文件配置(主要配置参数)
–yarn.resourcemanager.resource-tracker.address：RM 主机的 tracker 接口地址
–yarn.resourcemanager.address：NodeManager 与 RM 通信的接口地址
–yarn.resourcemanager.scheduler.address：RM 主机的 scheduler 调度服务接口地址
–yarn.nodemanager.local-dirs：MR的中介数据文件存放目录
–yarn.nodemanager.log-dirs：日志存放目录
–yarn.nodemanager.resource.memory-mb：每个nodemanager可分配的内存总量
•将以上配置文件copy到其他集群主机所对应的配置文件目录。
Hbase配置
•hbase-site.xml文件配置(主要配置参数)
–hbase.rootdir(指定hbase在hdfs下的根目录)
–hbase.master.port(指定master的通信端口)
–hbase.master.info.port(指定master web 界面端口)
–hbase.regionserver.port(指定regionserver的通信端口)
–hbase.regionserver.info.port(指定regionserver web 界面端口)
–hbase.cluster.distributed(指定hbase是否以分布式进行部署)
–hbase.zookeeper.quorum(指定用于hadoop namenode失效切换的zookeeper集群信息)
–hbase.zookeeper.property.clientPort(指定服务器端开启的监听端口,用来接受客户端访问请求的端口)
–hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)
–hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)
–hbase.tmp.dir(指定了hbase临时文件存放目录)
–hbase.hregion.majorcompaction(指定了自动进行major compaction的周期)
•regionservers文件配置
–各个regionserver节点的hostname,每行一个
•hbase连接hdfs配置
–hbase连接cdh4版的hdfs，需要将hadoop中conf目录下的core-site.xml、hdfs-site.xml拷贝到hbase的conf目录下
Hive配置
•配置hive元数据，只需要hive-site.xml做如下配置
–javax.jdo.option.ConnectionURL(jdbc链接字符串)
–avax.jdo.option.ConnectionDriverName(jdbc驱动类名称)
–hive.metastore.local(是在hive客户端打开一个新的metastore server还是连接远程的metastore server)
–hive.metastore.warehouse.dir(默认数据库仓库的位置)