Hadoop--HDFS

Hadoop：分布式系统基础架构
HDFS（分布式文件系统）

配置的位置：
/letv/data/hadoop-2.6.0/etc/Hadoop
配置hdfs-site.xml：
hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM(Qurom Journal Manager)。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

hdfs-site.xml

<configuration>
<property>
<!-- hdfs的名字-->
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>THadoop1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>THadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>THadoop2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>THadoop2:50070</value>
</property>
<property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 即zookeeper的主机-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://THadoop5:8485;THadoop6:8485;THadoop7:8485/ns1</value>
</property>
<property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<name>dfs.journalnode.edits.dir</name>
<value>/letv/data/hadoop-2.6.0/journal</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

core-site.xml

<configuration>
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
     </property>
     <property>
        <name>hadoop.tmp.dir</name>
        <value>/letv/data/hadoop-2.6.0/tmp</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>THadoop5:2181,THadoop6:2181,THadoop7:2181</value>
    </property>
</configuration>

YARN（资源管理器）

hdfs常用命令：
上传：
hadoop fs -put wp.txt /user
添加文件到hdfs上已经有的文件：
hadoop fs -appendToFile a.txt /user/wp.txt
hdfs删除文件：
hadoop fs -rm -r 路径