hadoop的配置文件

要想正常使用hadoop系统,主要是配置core-site.xml,hdfs-site.xml以及mapred-site.xml这几个配置文件,如果使用yarn框架的话,还需要配置yarn-site.xml。值得一提的是,这几个配置文件都有对应的xxx-env.xml,这些环境的配置文件需要正确的配置jdk的环境。

以下仅为我所使用,并且能在本地正常运行的配置:

core-site.xml的配置

<configuration>
    <property>
        #配置hdfs文件系统的位置和端口,这里使用的是本地
        #依据个人配置而定,使用hostname命令即可。
        <name>fs.defaultFSname>
        <value>hdfs://localhost:8020value>
    property>

    <property>
        #本地hdfs存放的位置
        <name>hadoop.tmp.dirname>
        <value>/opt/modules/hadoop-2.5.0/data/tempvalue>
    property>
configuration>

hdfs-site.xml的配置

<configuration>
    <property>
        #hdfs文件系统的个数,目前我就使用1个,如果不配置就使用默认值3
        <name>dfs.replicationname>
        <value>1value>
    property>
configuration>

按照官方文档,配置到这里,就可以使用hadoop进行计算和数据分析。

下面介绍官方文档提供的伪分布式的配置:

yarn-site.xml的配置

<configuration>
    <property>
        #服务名称
        <name>yarn.nodemanager.aux-servicesname>
        #mapreduce的核心服务
        <value>mapreduce_shufflevalue>
    property>
    <property>
        #nodemanager的主机名,现在使用的是本地
        <name>yarn.nodemanager.hostnamename>
        <value>localhostvalue>
    property>
configuration>

mapred-site.xml的配置

<configuration>
    <property>
        #配置用于执行MapReduce的框架,默认是Localhost,现在配置在yarn框架上
        <name>mapreduce.framework.namename>
        <value>yarnvalue>
    property>
configuration>

官方文档对应的配置到这集全都配置完成,有了这些配置,我们就能实现一个伪分布式的hadoop集群,下一遍文章就让我们开始尝试一下吧~
窗户外面蓝天白天的,美好的一天  ̄︶ ̄

你可能感兴趣的:(大数据,hadoop,yarn)